这个报错的原因在于没有设置程序运行的master
local 本地单线程
local[K] 本地多线程(指定K个内核)
local[*] 本地多线程(指定所有可用内核)
spark://HOST:PORT 连接到指定的 Spark standalone cluster master,需要指定端口。
mesos://HOST:PORT 连接到指定的 Mesos 集群,需要指定端口。
yarn-client客户端模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。
yarn-cluster集群模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。
java
SparkConf conf = new SparkConf();
conf.setMaster("local"); //本地单线程运行
conf.setAppName("testJob");
JavaSparkContext sc = new JavaSparkContext(conf);
scala
val sparkConf = new SparkConf()
sparkConf.setMaster("local") //本地单线程运行
sparkConf.setAppName("testJob")
val sc = new SparkContext(sparkConf)
通过设置JVM运行参数进行配置