Could not parse Master URL: 'loacl[12]'

Spark

代码里设置了是spark本地运行,Master是“local[12]”,但是运行后说无法识别。出现过好几次,具体原因没有找到。

解决方案:重启idea后就好了。

  val conf = new SparkConf().setAppName("ALSCode2Recomm").setMaster("local[*]")

报错信息:

18/10/24 11:46:10 ERROR SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: Could not parse Master URL: 'loacl[12]'
	at org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler(SparkContext.scala:2735)
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:522)
	at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2281)
	at com.shandjj.itemCFRating$.<init>(itemCFRating.scala:17)
	at com.shandjj.itemCFRating$.<clinit>(itemCFRating.scala)
	at com.shandjj.itemCFRating.main(itemCFRating.scala)

Python下也会有类似的这种情况

from pyspark import SparkConf,SparkContext

conf = SparkConf.setMaster('local[2]').set("spark.executor.memory","3g")
sc = SparkContext.getOrCreate(conf)
TypeError                                 Traceback (most recent call last)
<ipython-input-14-232fa02d1bc7> in <module>()
      1 from pyspark import SparkConf,SparkContext
      2 
----> 3 conf = SparkConf.setMaster('local[2]').set("spark.executor.memory","3g")
      4 sc = SparkContext.getOrCreate(conf)
      5 

TypeError: setMaster() missing 1 required positional argument: 'value'

原因:SparkConf后面少了括号

conf = SparkConf().setMaster('local[2]')
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值