![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据问题记录
ZhangWenXuan。
lets do it
展开
-
HDFS命令操作报java.lang.OutOfMemoryError:java heap space
执行hadoop fs -ls / 时出现 java.lang.OutOfMemoryError:java heap space原因 :目录下小文件过多,猜测可能是因为文件数据多大使得元数据过大导致加载到client客户端时会引起内存不足解决方案:修改/etc/hadoop/conf/hadoop-env.sh加大HADOOP_CLIENT_OPTS的配置...原创 2019-07-24 10:14:31 · 936 阅读 · 0 评论 -
Hdfs文件夹配额设置
在load hdfs文件到hive时报错The DiskSpace quota of is exceeded首先用hdfs用户登录清除配额上线hadoop dfsadmin -clrSpaceQuota hdfs://chinacreator/apps/hive/warehouse/frk.db/设置配额hadoop dfsadmin -se...原创 2019-07-24 10:30:58 · 1140 阅读 · 0 评论 -
Hive count结果为0 但表中有数据
Compute simple queries using stats only 参数设为falsehive.compute.query.using.stats=false原创 2019-07-24 10:32:35 · 936 阅读 · 0 评论 -
Sqoop1.99.7:encoded string too long: xxxx bytes问题记录
版本:Sqoop1.99.7问题描述:在项目上需要从oracle交换数据到hive中,oracle表中有大字段(clob,blob等),在mapper阶段抛出了encoded string too long 错误。原因:因为Sqoop中间交换的数据格式默认使用的是CSVIntermediateDataFormatpublic void write(DataOutput out) 方法会把m...原创 2019-07-24 10:53:01 · 623 阅读 · 0 评论 -
Sqoop1.99.7接入kerberos提交到yarn任务认证失效问题
问题:kerberos的keytabs凭证有效时间只有24h,sqoop server启动后过了24小时提交任务报认证过期提交失败。原因:sqoop使用的jobClient是启动时创建的,并且每次submit,update或stop操作都没有刷新UGI。具体代码位置是org.apache.sqoop.submission.mapreduce.MapreduceSubmissionEngine...原创 2019-07-29 15:08:09 · 448 阅读 · 0 评论 -
Hive有分区文件到时select不到数据问题-----修复分区命令 msck repair table xxxxx
问题:在导数据到hive分区表时, 手动把HDFS路径建好了,然后把对应的文件添加到路径下。 这时用select语句查询却查不到数据。原因:虽然分区文件有了,但是分区信息没有添加到hive元数据表中。解决方法:运行命令msck repair table xxxxx, 修复hive分区将分区信息加到元数据表...原创 2019-08-02 14:42:30 · 3001 阅读 · 0 评论