![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
grootblockchain
Happy everyday!
展开
-
hive备份之批量导出表名、建表语句
如果你需要批量导出hive库中的表结构那么你可以试试 运行以下shell脚本即可将表名导出到tables.txt,建表语句导出到tablesDDL.txt中。 #!/bin/bash hive -e "use huntor_tmp;show tables;" > tables.txt echo sleep start sleep 3 echo sleep end cat...原创 2018-08-31 11:13:57 · 4320 阅读 · 0 评论 -
Hive hdfs Exception:Name node is in safe mode.及Access denied for user root. Superuser privile问题解决方法
问题起因:定时执行azkaban任务时报错:WARN security.UserGroupInformation: PriviledgedActionException as:hadoop (auth:SIMPLE) cause:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeMode...原创 2018-08-31 11:17:15 · 857 阅读 · 0 评论 -
sqoop导入hive数据时对换行等特殊字符处理
使用场景: 公司大数据平台ETL操作中,在使用sqoop将mysql中的数据抽取到hive中时,由于mysql库中默写字段中会有换行符,导致数据存入hive后,条数增多(每个换行符会多出带有null值得一条数据),导致统计数据不准确。 解决办法: 利用一下两个参数可以实现对换行等特殊字符的替换或者删除 --hive-delims-replacement --hive-drop-i...原创 2018-09-11 15:01:02 · 8493 阅读 · 1 评论