![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
grootblockchain
Happy everyday!
展开
-
hive备份之批量导出表名、建表语句
如果你需要批量导出hive库中的表结构那么你可以试试运行以下shell脚本即可将表名导出到tables.txt,建表语句导出到tablesDDL.txt中。#!/bin/bashhive -e "use huntor_tmp;show tables;" > tables.txtecho sleep startsleep 3echo sleep endcat...原创 2018-08-31 11:13:57 · 4296 阅读 · 0 评论 -
Hive hdfs Exception:Name node is in safe mode.及Access denied for user root. Superuser privile问题解决方法
问题起因:定时执行azkaban任务时报错:WARN security.UserGroupInformation: PriviledgedActionException as:hadoop (auth:SIMPLE) cause:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeMode...原创 2018-08-31 11:17:15 · 843 阅读 · 0 评论 -
sqoop导入hive数据时对换行等特殊字符处理
使用场景: 公司大数据平台ETL操作中,在使用sqoop将mysql中的数据抽取到hive中时,由于mysql库中默写字段中会有换行符,导致数据存入hive后,条数增多(每个换行符会多出带有null值得一条数据),导致统计数据不准确。 解决办法:利用一下两个参数可以实现对换行等特殊字符的替换或者删除--hive-delims-replacement --hive-drop-i...原创 2018-09-11 15:01:02 · 8476 阅读 · 1 评论