- 博客(2)
- 收藏
- 关注
RSS订阅原创 Scala中获取hive表结构数据方法
val hiveConf=new HiveConf()//连接hive客户端val hiveCilent=new HiveMetaStortCilent(hiveConf)//得到hive表信息val hiveInfo=hiveCilent.getTable(db.name,table.name)//得到hive表字段信息val cols:List[FieldSchema]=hiveI...
2020-03-15 10:40:23
1715
原创 shell统计hive中日分区表每月数据量大小
shell脚本代码：#每个月采集表的数据量for (( i = 201901; i < 201913; i++ )); do hadoop fs -du -s /project/iisp/data/warehouse/cdm/$1/dt=$i"*">temp1.txt Size=$(cat temp.txt | awk '{sum+=$1} END {print sum}')...
2020-03-04 10:47:09
955
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人