- 博客(4)
- 收藏
- 关注
RSS订阅转载 HDFS block块损坏以及修复
模拟block 损坏之后 如何定位以及修复. 1.创建一个文件并上传至hdfs [root@ruozedata001 ~]# hdfs dfs -mkdir /blockrecover [root@ruozedata001 ~]# echo “xiaolinzi” > blocktest.md [root@ruozedata001 ~]# hdfs dfs -put blocktest.md...
2020-03-13 10:06:03
605
原创 hive array结构一行转多行
select a,array,b from t LATERAL VIEW EXPLODE(array) v as b 把array字段拍扁成b，然后显示在每一行。一行转多行。
2020-03-11 15:26:53
984
原创 hive 添加列名和csv分隔符转换
set hive.cli.print.header=true;添加字段名。 hive -e “select * from t ;” | sed ‘s/\t/,g’ /home/1.csv csv分隔符转化成‘，’。
2020-03-11 09:49:10
430
原创 hive group by 数据倾斜
set hive.map.aggr=true 是否在map端进行聚合，默认为true set hive.groupby.mapaggr.checkinterval=100000 在map端进行聚合的条目数 set hive.groupby.skewindata=true 当使用group by 有数据倾斜的时候 进行负载均衡。 ...
2020-03-09 10:12:51
583
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人