spark集群其中一个节点没有启动成功

最新推荐文章于 2021-11-15 22:27:05 发布

smallboy2011

最新推荐文章于 2021-11-15 22:27:05 发布

阅读量3.5k

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/smallboy2011/article/details/37964957

版权

在三节点Spark集群中，遇到一个worker与master在同一节点上，启动情况不稳定，有时只能启动两个或一个worker，缺乏明显规律。问题可能涉及配置、资源分配或系统状态。

摘要由CSDN通过智能技术生成

Spark Command: /usr/java/jdk1.7/bin/java -cp ::/home/hadoop2/spark/spark-1.0.0/conf:/home/hadoop2/spark/spark-1.0.0/assembly/target/scala-2.10/spark-assembly-1.0.0-hadoop2.2.0.jar -XX:MaxPermSize=128m -Dspark.akka.logLifecycleEvents=true -Xms512m -Xmx512m org.apache.spark.deploy.worker.Worker spark://master:7077 --webui-port 8081
========================================

14/07/19 17:05:07 INFO SecurityManager: Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
14/07/19 17:05:07 INFO SecurityManager: Changing view acls to: hadoop2
14/07/19 17:05:07 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(hadoop2)
14/07/19 17:06:11 INFO Slf4jLogger: Slf4jLogger started
14/07/19 1