![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 68
Sunager
这个作者很懒,什么都没留下…
展开
-
YARN集群-historyserver
目录简介配置开启简介 我们经常会向yarn集群上提交任务,但是任务执行完后,我们就不能再查看log文件了。此时我们可以开启historyserver,实现yarn集群上历史任务的保存。配置非高可用(HA)模式的配置1.修改%HADOOOP_HOME/etc/hadoop/yarn-site.xml文件<property> &l...原创 2018-11-22 20:06:35 · 9956 阅读 · 0 评论 -
YARN集群遇到的问题
目录1.YARN HA集群中主备切换失败1.YARN HA集群中主备切换失败问题描述:HDFS HA集群、YARN HA集群,使用zookeeper集群监控。namenode主备切换正常,而resourcemanager主备切换失败。查看standby状态的resourcemanager启动日志发现错误信息:org.apache.hadoop.ha.ServiceFailedExceptio...原创 2018-11-16 16:29:01 · 1537 阅读 · 0 评论 -
Spark集群遇到的问题
目录1.SparkContext: Error initializing SparkContext2.spark on yarn1.SparkContext: Error initializing SparkContext18/10/29 15:55:39 ERROR SparkContext: Error initializing SparkContext.java.net.BindExc...原创 2018-11-16 16:09:20 · 2861 阅读 · 0 评论 -
HDFS集群遇到的问题
目录1.namenode格式化失败2.zookeeper启动失败1.namenode格式化失败18/11/16 15:05:05 WARN namenode.NameNode: Encountered exception during format: org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to check...原创 2018-11-16 15:53:17 · 574 阅读 · 0 评论