hadoop
文章平均质量分 77
DoveYoung8
这个作者很懒,什么都没留下…
展开
-
hadoop2.*环境安装
0. Hadoop源码包下载http://mirror.bit.edu.cn/apache/hadoop/common1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载安装包#Masterwget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8....原创 2018-04-16 11:11:27 · 262 阅读 · 0 评论 -
MapReduce过程详解及其性能优化
转自:https://blog.csdn.net/aijiudu/article/details/72353510从JVM的角度看Map和ReduceMap阶段包括:第一读数据:从HDFS读取数据1、问题:读取数据产生多少个Mapper?? Mapper数据过大的话,会产生大量的小文件,由于Mapper是基于虚拟机的,过多的Mapper创建和初始化及关闭虚拟机都会消耗大量的硬件资源; ...转载 2018-04-12 13:51:30 · 263 阅读 · 0 评论 -
Hive常用函数大全一览
Hive常用函数大全一览文章目录1 关系运算1.1 1、等值比较: =1.2 2、不等值比较:1.3 3、小于比较: <1.4 4、小于等于比较: <=1.5 5、大于比较: >1.6 6、大于等于比较: >=1.7 7、空值判断: IS NULL1.8 8、非空判断: IS NOT NULL1.9 9、LIKE比较: LIKE1.10 10、JAVA的LIKE操作: RL...转载 2018-04-20 09:52:57 · 8598 阅读 · 3 评论 -
hive分组去前几条数据
需求交易系统,财务要求维护每个用户首个交易完成的订单数据(首单表,可取每个用户交易完成时间最老的订单数据)。举例:简写版的表结构:表数据:则 财务希望汇总记录如下:uidorder_idservice_completion_time2442017-02-03 12:23:01.03332017-11-30 12:23:01.0hive分组排序函数语法:row_number() over (part...转载 2018-04-20 18:34:58 · 1607 阅读 · 0 评论 -
Hive行转列,列转行
下面举两个例子:例一:行转列数据:a b 1a c 2a b 3c d 4c d 5c d 6转化为:a b 1,2,3c d 4,5,6 创表Hive>create table test1 (col1 String,col2 String,col3 String) row format delimited fields terminated by ' ';加载数据:Hive>load...转载 2018-04-20 18:37:25 · 402 阅读 · 0 评论