hdfs
孙小思思
java、javaweb、大数据开发 、大数据运维
展开
-
hdfs小文件合并方法(hive/spark/历史文件)
hive新增数据合并方法 1、入数据之前设置session级别的参数set mapred.reduce.tasks=10根据表的大小估算出参数,保证满足以下公式128M* mapred.reduce.tasks=表的大小(M) 2、在sql语句中增加均衡分布insert overwrite table bhy.cp_test partition(date_no=‘20170503’,hour_no=‘03’) select t.source_type,t.starttime,t.endtime,t.acc_原创 2020-09-14 15:20:02 · 840 阅读 · 0 评论 -
hdfs的常用命令
–查看文件大小 hdfs dfs -du -s -h /hbase/data/clzx_opr/RM_MKTGROUPINTEREST_INFO –查看最后5行 hdfs dfs -cat /user/hive/warehouse/clzxdb.db/rm_contact_result_extract_sn/000012_0 | tail -5 –more方式查看文件 hdfs dfs -cat /user/hive/warehouse/clzxdb.db/rm_contact_result_extra原创 2020-08-29 20:20:59 · 212 阅读 · 0 评论