idea在运行spark的代码程序时,执行到SparkSession.getSpark(),出现了如下错误
从抛出的异常信息中可以看出找不到程序运行的master,此时需要配置环境变量;
传递给spark的master url可以有如下几种:
1、local 本地单线程
2、local[K] 本地多线程(指定K个内核)
3、local[*] 本地多线程(指定所有可用内核)
4、spark://HOST:PORT 连接到指定的 Spark standalone cluster master,需要指定端口。
5、mesos://HOST:PORT 连接到指定的 Mesos 集群,需要指定端口。
6、yarn-client客户端模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。
7、yarn-cluster集群模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。
解决方法:
点击edit configuration,在左侧点击该项目。在右侧VM options中输入“-Dspark.master=local”,指示本程序本地单线程运行。