IDEA处理Spark报错【A master URL must be set in your configuration】

idea在运行spark的代码程序时,执行到SparkSession.getSpark(),出现了如下错误

 从抛出的异常信息中可以看出找不到程序运行的master,此时需要配置环境变量;

传递给spark的master url可以有如下几种:

1、local 本地单线程
2、local[K] 本地多线程(指定K个内核)
3、local[*] 本地多线程(指定所有可用内核)
4、spark://HOST:PORT 连接到指定的  Spark standalone cluster master,需要指定端口。
5、mesos://HOST:PORT 连接到指定的  Mesos 集群,需要指定端口。
6、yarn-client客户端模式 连接到  YARN 集群。需要配置 HADOOP_CONF_DIR。
7、yarn-cluster集群模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。

解决方法:

点击edit configuration,在左侧点击该项目。在右侧VM options中输入“-Dspark.master=local”,指示本程序本地单线程运行。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值