org.apache.spark.SparkException: A master URL must be set in your configuration

之前在idea上执行sparkSQL程序时,出现了一个如下Exception

org.apache.spark.SparkException: A master URL must be set in your configuration,说是

没有配置master URL,那我在配置了以后程序就好使了。

需要明确一下,传递给spark的master url可以有如下几种:

local 本地单线程

local[K] 本地多线程(指定K个内核)

local[*] 本地多线程(指定所有可用内核)

spark://HOST:PORT 连接到指定的 Spark standalone cluster master,需要指定端口

mesos://HOST:PORT 连接到指定的 Mesos 集群,需要指定端口

yarn-client客户端模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR

yarn-cluster集群模式 连接到 YARN 集群 。需要配置 HADOOP_CONF_DIR
在这里插入图片描述

首先单击菜单栏里的run,里面有一个Edit Configuration选项,选中这个选项。
在这里插入图片描述
选中以后,在出现的选项框左侧选中你要运行的项目,在右侧Configuration下有个VM options,在这个框中填入-Dspark.master=local[],然后Apply,点击OK,在运行程序就正常运行了。(需注意:填入-Dspark.master=local[]时,中间不要有空格,否则程序输出结果会乱码,无法识别)
在这里插入图片描述

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值