【已解决】windows :Invalid Spark URL: spark://HeartbeatReceiver
在idea中运行spark项目,跳出一大堆红字,最终定位到错误为 Invalid Spark URL: spark://HeartbeatReceiver
在网上查到的通常的解决办法为,修改主机名,使它不带下划线"_"
BUT!!!我是公司的电脑,修改不了主机名,那可咋整???
那就只能修改代码咯 ,直接上方法:
pyspark:
这篇教程说的非常详细,可以参考一下:
windows环境下Invalid Spark URL: spark://HeartbeatReceiver@xxxx报错解决。
scala:
不过因为我是用 scala 写的,找了半天,终于得知方法
原来代码为:
val spark = SparkSession.builder().master("local[*]").appName("Redis").getOrCreate();
修改后:
val spark = SparkSession.builder().master("local[*]").appName("Redis").config("spark.driver.host", "localhost").getOrCreate();
搞定!!不会报错了!!