JAVA运行pi时一直在连接主机_从Java应用程序连接到Spark Standalone时,为什么引发“无法在停止的SparkContext上调用方法”?...

博主在尝试使用Java应用程序连接到Spark Standalone集群时遇到问题,当使用预构建的Apache Spark 1.4.1并指定远程Spark Master地址时,程序抛出`IllegalStateException`,提示不能在已停止的SparkContext上调用方法。在本地运行(setMaster("local"))则正常工作。问题可能在于SparkContext的生命周期管理,需要调查为何在远程模式下SparkContext被意外停止。
摘要由CSDN通过智能技术生成

我已经下载了为Hadoop 2.6及更高版本预构建的Apache Spark 1.4.1。我有两台Ubuntu

14.04机器。我已将其中一个设置为具有单个从属设备的Spark主设备,第二台机器正在运行一个Spark从属设备。当我执行./sbin/start-

all.sh命令时,主机和从机成功启动。之后,我在Spark Web UI中显示的Spark主URL spark-

shell设置中运行示例PI程序--master spark://192.168.0.105:7077。

到目前为止,一切都很好。

我创建了一个Java应用程序,并尝试将其配置为在需要时运行Spark作业。我在pom.xml文件中添加了spark依赖项。

org.apache.spark

spark-core_2.11

1.4.1

org.apache.spark

spark-streaming_2.11

1.4.1

我创建了一个SparkConfig:

private parkConf sparkConfig = new SparkConf(true)

.setAppName("Spark Worker")

.setMaster("spark://192.168.0.105:7077");

我SparkContext使用创建一个SparkConfig:

private SparkContext sparkContext = new SparkContext(sparkConfig);

在此步骤上引发以下错误:

java.lang.IllegalStateException: Cannot call methods on a stop

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
>