- 博客(3)
- 收藏
- 关注
RSS订阅转载 hive大数据倾斜总结
hive数据倾斜 在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduc
2017-11-27 17:34:18
133
原创 hive select * from表没有数据， select 列 有数据
原因： 我的表格式是lzo的，但是我写入的时候并没有指定文件格式，造成select * from表没有数据， select 列 有数据 set mapred.output.compress=true; set hive.exec.compress.output=true; set mapred.output.compression.codec=com.hadoop.compression.l
2017-11-24 19:24:39
3862
转载 linux中日期的循环方式
#!/bin/bash startDate=20171023 endDate=20171103 startSec=`date -d "$startDate" "+%s"` endSec=`date -d "$endDate" "+%s"` for((i=$startSec;i do firstday=`date -d "@$i" "+%Y%m%d"` echo ${
2017-11-12 15:51:13
2804
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人