行走的数据智能

转载 Java技术面试答案(汇总版)

1.面向对象和面向过程的区别面向过程优点：性能比面向对象高，因为类调用时需要实例化，开销比较大，比较消耗资源;比如单片机、嵌入式开发、Linux/Unix等一般采用面向过程开发，性能是最重要的因素。缺点：没有面向对象易维护、易复用、易扩展面向对象优点：易维护、易复用、易扩展，由于面向对象有封装、继承、多态性的特性，可以设计出低耦合的系统，使系统更加灵活、更加易于维护缺点：性能比面向过程低2.Jav...

原创 联想昭阳UOS1043专业版镜像下载地址

联想昭阳UOS1043专业版镜像下载地址： https://cdimage-download.chinauos.com/desktop-professional/1043/uniontechos-desktop-20-professional-1043-amd64.iso。

转载 Hive/Spark SQL常用函数(窗口分析函数、行列转换、JSON处理)

文章目录窗口分析函数 1. 分析函数 2. 聚合函数 3. 窗口函数 行列转换 1. 行转列 2. 列转行 JSON处理 1. JSON对象 2. JSON数组 Hive SQL Spark SQL 时间处理窗口分析函数函数中用到的表数据如下图：1. 分析函数row_number() rank() dense_rank()这3个函数通常用在组内.

原创 用户画像及其应用案例分享

一、用户画像基础概念用户画像，即用户信息标签化，通过收集用户的社会属性、消费习惯、偏好特征等各个维度的数据，对用户特征属性进行刻画，并对这些特征进行分析、统计，挖掘潜在价值信息，从而抽象出用户的信息全貌。作为一种勾画目标用户、联系用户诉求与设计方向的有效工具，用户画像已在各领域得到了广泛的应用。用户画像在实际应用中往往以最为浅显和贴近生活的话语将用户的属性、行为与期待的数据转化联结起来。如下用户画像示例图所示。二、用户画像PERSONAL八要素用户画像产品需要怎么做呢，用户画...

转载 以程序员的视角带你看西安

编者荐语：作为一名土生土长的陕西人，我曾经在西安上了7年的学(本硕)，2018年硕士毕业来到深圳，已工作3年左右。最近几年西安的热度不断，抖音上不倒翁小姐姐、大唐不夜城火了，全国十四运这个夏天也要来了。今天，就让我们一起以程序员的视角带你去看看西安。以下文章来源于微信公众号CS指南，作者大白最近越来越多的人关注到西安这座城市，西安热度和知名度进一步提升，抖音上不倒翁小姐姐和大唐不夜城火了，全国第十四届运动会这个夏天也要来了。今天，就让我们一起以程序员的视角带你去看看西安.

转载 2021年大数据面试宝典完整版（含答案解析）

版本 更新时间 更新内容 v1.0 2020-07-01 新建 v1.1 2020-07-18 朋友面试大数据工程师提供的关于架构及数仓方面的题目 v1.2 2020-08-08 朋友面试数据专家提供的数据驱动，spark及flink方面面试题 v1.3 2020-08-22 朋友面试数据开发提供的关于hive及数仓方面的题目 v1.4 2020-09-06 老徐提供面试题(数仓方向)及朋友提供数据开...

转载 【转载】PinPoint（开源APM）全链路监控环境搭建

PinPoint（开源APM）全链路监控简介Pinpoint是一个开源的 APM (Application Performance Management/应用性能管理)工具，用于基于java的大规模分布式系统，基于Google Dapper论文。仿照 Google Dapper , Pinpoint 通过跟踪分布式应用之间的调用来提供解决方案， 以帮助分析系统的总体结构和内部模块之间如何相互联系。如今的服务通常由很多不同模块组成，前端向后台发起一个查询请求，后台服务可能要调用多个服务，每个服

转载 Linux学习路径图

转载 在shell中如何判断HDFS中的文件目录是否存在

在Linux文件系统中，我们可以使用下面的Shell脚本判断某个文件是否存在： # 这里的-f参数判断$file是否存在 if [ ! -f "$file" ]; then 　　echo "文件不存在!" fi 但是我们想判断HDFS上某个文件是否存在咋办呢？别急，Hadoop内置提供了判断某个文件是否存在的命令： [iteblog@www...

转载 Hive操作表分区和表字段属性常用语句

文章目录1显示分区 2添加分区 3删除分区 4修改分区 5添加列 6修改列 7修改表属性 8表的重命名显示分区 show partitions iteblog; 添加分区 ALTER TABLE table_name ADD [IF NOT EXISTS] PARTITION partition_spec [LOCA...

转载 Hive常用函数大全一览

文章目录1关系运算 1.11、等值比较: = 1.22、不等值比较: 1.33、小于比较: < 1.44、小于等于比较: <= 1.55、大于比较: > 1.66、大于等于比较: >= 1.77、空值判断: IS NULL 1.88、非空判断: IS NOT NULL 1.99、LIKE比较: LIKE 1.1...

转载 Hive语句的书写顺序及执行顺序

1、Hive语句的书写顺序：（从前往后）(1)select(2)from(3)join on(4) where(5)group by(6)having(7)distribute by/cluster by(8) sort by(9) order by(10) limit(11) union(去重不排序)/union all（不去重不排序）2、Hive语句的执行顺序：...

原创 Hadoop常见命令 完整版

1、列出根目录下所有的目录或文件hadoop fs -ls /2、列出/user目录下的所有目录和文件Hadoop dfs -ls /user3、列出/user目录及其子目录下的所有文件（谨慎使用）hadoop dfs -ls -R /user4、创建/soft目录hadoop dfs -mkdir /soft5、创建多级目录had...

转载 Hadoop Shell 常用命令

FS Shell调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中...

原创 Linux 常用命令总结

转载 Git常用命令速查表（收藏大全）

名词master: 默认开发分支 origin: 默认远程版本库 Index / Stage：暂存区 Workspace：工作区 Repository：仓库区（或本地仓库） Remote：远程仓库一、新建代码库二、配置Git的设置文件为.gitconfig，它可以在用户主目录下（全局配置），也可以在项目目录下（项目配置）。三、增加/删除/修改文件四、代码...

转载 Git 工作原理图与常用命令速查表

一、Git 工作原理图与常用命令速查表

转载 看我Git 72变，GitHub发布4已超过8000星

简介：众所周知，Git是一个“分布式版本管理工具”，简单的理解版本管理工具。本文介绍了与使用Git相关的72个技巧，文末附带一张超详细的脑图。GitHub发布3天已经超过4000星，值得收藏！来源：GitHub编辑：金磊众所周知，Git是一个“分布式版本管理工具”，简单的理解版本管理工具。本文介绍了与使用Git相关的72个技巧，文末附带一张超详细的脑图。GitHub发布3天已经超过4...

转载 1000行 MySQL 学习笔记，不怕你不会，就怕你不学！

简介：1000行 MySQL 学习笔记，不怕你不会，就怕你不学！Windows服务-- 启动MySQL net start mysql-- 创建Windows服务 sc create mysql binPath= mysqld_bin_path(注意：等号与值之间有空格)连接与断开服务器mysql -h 地址 -P 端口 -u 用户名 -p 密码SHOW...

转载 Hive 动态分区使用

hive 动态分区与静态分区，静态分区需要制定分区字段的值插入分区数据，动态分区可以根据分区字段的值自动插入对应分区静态分区：须指定分区字段的值insert overwrite table test.tmp_edw_customer_event_detail_di partition(dt='20161218') select cid ...

原创 Hive 动态分区恢复静态分区表数据

在企业上使用 Hive进行离线批量数据统计时，有时会遇到 Oozie工作流调度失败，导致很多 ptdate时间分区没有数据，可以通过 Hive创建临时表存储所有缺失的ptdate时间分区数据，然后通过Hive动态分区查询临时表导入数据至最终统计结果表中。一、在正式介绍 Hive 动态分区恢复静态分区表数据时，先介绍一下 hive load导入数据的用法hive ...

原创 Linux常见命令

1、查看当前运行用户id2、查看 ip地址ifconfig

原创 Hive、Impala常用命令

一、Hive常用命令查看分区show partitions lake_bg_ods.ods_bg_tb1;查看建表语句show create tablelake_bg_ods.ods_bg_tb1;二、Impala常用命令查看分区以及各分区数据大小以及存储HDFS路径show partitions lake_bg_o...

原创 Git常见命令

git add . 添加工作区修改至暂存区git -commit -m "Git本地仓库代码修改内容" 添加暂存区内容至本地Git代码库git reset head^ 撤销本地Git代码库最新一次commit提交内容git push 直接提交本地Git代码库commit内容至远程Git代码git branch 查看当前分支git branch...

转载 Spark 框架核心组件，以及Spark和Hadoop生态关系

Spark框架是一个快速且API丰富的内存计算框架。Spark 采用Scala语言编写。相对于第一代的大数据生态系统Hadoop中的MapReduce，Spark 无论是在性能还是在方案的统一性方面，都有着极大的优势。Spark框架包含了多个紧密集成的组件，如下图所示。1. Spark Core位于底层的是Spark Core，其实现了Spark的作业调度、内存管理、容...

转载 Spark大数据处理框架入门-包括生态系统、运行流程以及部署方式

Spark 大数据处理框架简介Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架。Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而...

转载 Flink1.7.2+Kafka 接收流数据并打印到控制台

一、试验环境Windows：IDEALinux：Kafka，Zookeeper二、POM和Demo2.1、pom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3....

转载 机器学习100天 GitHub经典项目

机器学习100天 GitHub经典项目网页链接地址：1、机器学习100天 英文版原文GitHub地址：GitHub - Avik-Jain/100-Days-Of-ML-Code: 100 Days of ML Codinghttps://github.com/Avik-Jain/100-Days-Of-ML-Code2、机器学习100天 中文翻译版GitHub地址：GitHu...

转载 pycharm pip源修改以及包管理

pycharm下如何将默认的pip源改成国内能快速访问的源, 以及如何进行包管理pycharm 是一款进行python项目开发的利器, 不过还是有新手在使用pycharm时, 并不知道如何进行包管理,pip 包管理pycharm 如何进行包管理呢, 其实很简答安装安装包流程如下注意2位置, 是选择相应版本的python 解释器, 因为我们可能会用virtualenv ...

原创 如何使用PyCharm进行Python开发_20190123

1、Python集成开发工具主要包括以下2个：（1）PyCharm（需另外安装Python），推荐使用该Python集成开发工具；（2）Anaconda（不需要另外安装Python，该集成开发工具安装后自带Python）2、安装Python3.7及集成开发工具PyCharm进行Python开发参考链接：这里Python3.7的安装路径为：D:\Programs\Python37，安装...

转载 处理海量数据问题之六把密匙

密匙一、分而治之/Hash映射 + Hash统计 + 堆/快速/归并排序1、海量日志数据，提取出某日访问百度次数最多的那个IP。    既然是海量数据处理，那么可想而知，给我们的数据那就一定是海量的。针对这个数据的海量，我们如何着手呢?对的，无非就是分而治之/hash映射 + hash统计 + 堆/快速/归并排序，说白了，就是先映射，而后统计，最后排序：1. 分而治之/hash映射：针对数据太大，...

转载 大数据面试题

 Big Data 面试题总结JAVA相关1-1）List 与set 的区别？老掉牙的问题了，还在这里老生常谈：List特点：元素有放入顺序，元素可重复 ，Set特点：元素无放入顺序，元素不可重复。 1-2）数据库的三大范式？原子性、一致性、唯一性 1-3）java 的io类的图解 1-4）对象与引用对象的区别对象就是好没有初始化的对象，引用对象即使对这个对象进行了初始化，这个初始化可以使自己的直...

转载 大数据面试题及答案-汇总版

         大数据面试题及答案汇总版                  当前版本：Ver 1.0制作单位： 编写人员：审 核 人： 签 收 人： 签署日期：    2017 年 05 月 22 日 版权所有 翻印必究文档信息版本号1.0版本日期2017-05-22所有者 作者修订记录日期描述作者版本号2017-05-22新增                                  ...

转载 大数据相关面试题整理-带答案-难一点

1、fsimage和edit的区别？  大家都知道namenode与secondary namenode 的关系，当他们要进行数据同步时叫做checkpoint时就用到了fsimage与edit，fsimage是保存最新的元数据的信息，当fsimage数据到一定的大小事会去生成一个新的文件来保存元数据的信息，这个新的文件就是edit，edit会回滚最新的数据。2、列举几个配置文件优化？ --发挥 ...

原创 Map与Reduce任务个数的控制方法

1、Map任务个数的控制方法2、Reduce任务个数的控制方法

转载 CentOS取消屏幕保护自动锁屏功能

CentOS取消屏幕保护自动锁屏功能1. 问题：默认启动屏幕保护问题描述： CentOS系统在用户闲置一段时间(默认为5分钟)后，会启动屏幕保护程序(默认的屏保为黑屏)，并要求重新输入密码才能回到原来桌面。2. 解决方法：重新设置屏幕保护2.1 打开Screensaver Preferences界面2.2 取消屏幕保护的锁定功能

转载 CentOS赋予一个普通用户root权限

Linux的普通用户在安装一些东西或者执行一些命令的时候，终端会提示权限不够。那么怎么才能给用户赋予root权限呢？当然，就算赋予了root权限，也和root用户还是有区别的，因为只能执行root规定好的一些操作命令。1、添加用户，首先用adduser命令添加一个普通用户，命令如下：#adduser tommy //添加一个名为tommy的用户#passwd tommy

原创 Hadoop3.0.0伪分布式、完全分布式安装及其新特性介绍

本文主要介绍了Hadoop3.0.0伪分布式、完全分布式集群安装及其新特性，并在文章最后一部分第四部分给出了Hadoop3.0.0在本地虚拟机Linux系统（2G物理内存）上的伪分布式集群安装的实际操作过程。