Spark history server 遇到的一些问题

        最近学习Spark，看了一个视频，里面有提到启动spark后，一般都会启动Spark History Server。视频里把 spark.history.fs.logDirectory 设置成了Hadoop上一个目录。配置的是hdfs://ubuntu1:9000/spark 啥的。我原来搭建的Hadoop是HA的，肯定不能这么写。我心血来潮，把hadoop HA改回了集群模式。这下可好，恶梦开始。启动Spark History Server，报连不上hadoop，但是我在浏览器中是能打开的。开始怀疑是Spark哪里配置错了，搞了半天，还是连接hadoop时报connection refuse。刚开始学Spark，对它也不熟，所以索性就从简单点的开始。从最简单local模式开始。这种模式下，程序运行完，就什么都看不到了，需要启动Spark History Server，这样就能查看运行完的程序的信息了。只是Spark History Server还是一直连不上hadoop。郁闷至极，后来才发现我也HA Hadoop改成集群时，在core-site.xml 中配置如下，NNDX，没有加9000端口号！！！

      <property>
                <name>fs.defaultFS</name>
                <value>hdfs://ubuntu1</value>
        </property>

加上端口号后，发现Spark History Server能连上Hadoop了，真TMD高兴。可是跑完一个程序后，在Spark History Server的UI界面上还是没有信息。搞了半天，才发现datanode没有启动起来。清了一遍namenode和datanode的目录，又格式化了一下namenode。Hadoop终于是正确地跑起来了。

     崩溃了，Spark History Server的UI界面上，还是啥都没有。又是半天，才发现是 spark.history.fs.logDirectory 配置错了，应该和 spark.eventLog.dir 配置成同一个目录的， 我当时犯贱了一下，没有配成同一个目录。改成同一个目录后，终于把问题解决了。

    虽然走了不少弯路，但是在解决问题的过程中，学到了蛮多东西的。

转载于:https://www.cnblogs.com/langfanyun/p/7788784.html