- 博客(3)
- 收藏
- 关注
RSS订阅原创 Hive的数据倾斜处理方案
Hive的数据倾斜处理方案1、什么是数据倾斜？2、Hadoop 框架的特性3、主要表现4、容易数据倾斜情况5、解决方案 1、什么是数据倾斜？ 由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点 2、Hadoop 框架的特性 A、不怕数据大，怕数据倾斜 B、Jobs 数比较多的作业运行效率相对比较低，如子查询比较多 C、 sum,count,max,min 等聚集函数，通常不会有数据倾斜问题...
2019-01-04 09:07:41
170
原创 Git学习
1.git init命令把这个目录变成Git可以管理的仓库 ls -ah 查看隐藏文件 2. 把一个文件放到Git仓库 git add readme.txt git commit -m "add a readme file" 3.git log 获取日志 $ git log --pretty=oneline 5e5c519f0510caaf47015f850882862e5993bd...
2018-09-27 14:47:39
49
原创 Hive常用函数
1.get_json_object 获取json数据 示例： 表:src_json 字段:json {"store": {"fruit":\[{"weight":8,"type":"apple"},{"weight":9,"type":"pear"}], "bicycle":{"
2018-09-19 10:05:56
65
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人