我已经下载了为Hadoop 2.6及更高版本预构建的Apache Spark 1.4.1。我有两台Ubuntu
14.04机器。我已将其中一个设置为具有单个从属设备的Spark主设备,第二台机器正在运行一个Spark从属设备。当我执行./sbin/start-
all.sh命令时,主机和从机成功启动。之后,我在Spark Web UI中显示的Spark主URL spark-
shell设置中运行示例PI程序--master spark://192.168.0.105:7077。
到目前为止,一切都很好。
我创建了一个Java应用程序,并尝试将其配置为在需要时运行Spark作业。我在pom.xml文件中添加了spark依赖项。
org.apache.spark
spark-core_2.11
1.4.1
org.apache.spark
spark-streaming_2.11
1.4.1
我创建了一个SparkConfig:
private parkConf sparkConfig = new SparkConf(true)
.setAppName("Spark Worker")
.setMaster("spark://192.168.0.105:7077");
我SparkContext使用创建一个SparkConfig:
private SparkContext sparkContext = new SparkContext(sparkConfig);
在此步骤上引发以下错误:
java.lang.IllegalStateException: Cannot call methods on a stop