Spark程序常见问题
在eclipse中运行时提示A master URL must be set in your configuration

在VM arguments里添加  -Dspark.master=local  解决了


内存溢出

-Xms512m -Xmx512m



写spark插件,插件中使用slf4j日志框架  在cli运行时打印不出来
原因是默认log级别是warn,可以自己设置
sc.setLogLevel("info")


运行spark出现slf4j日志错误

添加了spark-core的依赖之后,就不要再添加slf4j-api和slf4j-log4j12的依赖了

spark-core中的jul-to-slf4j和jcl-over-slf4j会和上面两个包冲突。随便去掉一套就可以了 
阅读更多
版权声明:转载请注明出处 https://blog.csdn.net/qiaojialin/article/details/53994361
个人分类: Spark
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

Spark程序常见问题

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭