![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
hellobeach
这个作者很懒,什么都没留下…
展开
-
distcp 异常
生产代码无任何变化,每天定时的distcp突然失败了。WARN [main] org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:user (auth:SIMPLE) cause:java.io.FileNotFoundException: File does not exist: pathx...原创 2018-05-08 09:20:09 · 1119 阅读 · 0 评论 -
hadoop 使用DNS(FQDN)完全限定域名
先说结论: 1.配置DNS(略),正反解析都要配置 2.在集群上配置下面两个参数 hadoop.security.dns.interface hadoop.security.dns.nameserver 过程: 原来集群上使用hosts文件的方法进行的域名映射,每次增加机器,或者新的业务(比如spark-sreaming新增加一个kafka读取实例,就要在全体集群上的nm节点上增加对...原创 2019-03-18 12:02:44 · 1153 阅读 · 0 评论