![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据问题集锦
文章平均质量分 63
HappyLinFarmer
热爱物联网,大数据,机器学习,安卓 。github地址:https://github.com/happylin0x29a
展开
-
CDH 开启Kerberos 问题
1:nodemanager连接不上resourcemanager, 清除每个nodemanager的用户缓存在每一个NodeManager节点上删除该用户的缓存目录,对于用户hdfs,是/data/data/yarn/nm/usercache/hdfs。该缓存目录在集群进入Kerberos状态前就已经存在了。例如当我们还没为集群Kerberos支持的时候,就用该用户跑过YARN应用。也许这是一个bug2:使用 hdfs/namenode01@xxxCOM账户建立的账户才能访问hdfs账户下的权限,.原创 2021-11-18 16:13:07 · 1349 阅读 · 0 评论 -
同一条sql语句 ,Spark Sql 和 hive shell 查询数据结果不一致。
背景:hive表数据文件存储格式是parquet,存储在aliyun的oss存储中问题描述:saprk sql程序读取结果:hive shell 数据读取结果:hive shell查询的结果是完整的.数据的写入通过spark 程序执行的,存入代码如下所示:udfService.register(map, df.sqlContext) df .withC...原创 2019-03-14 17:30:47 · 6167 阅读 · 1 评论