关闭

Spark程序常见问题

298人阅读 评论(0) 收藏 举报
分类:
在eclipse中运行时提示A master URL must be set in your configuration

在VM arguments里添加  -Dspark.master=local  解决了


内存溢出

-Xms512m -Xmx512m



写spark插件,插件中使用slf4j日志框架  在cli运行时打印不出来
原因是默认log级别是warn,可以自己设置
sc.setLogLevel("info")


运行spark出现slf4j日志错误

添加了spark-core的依赖之后,就不要再添加slf4j-api和slf4j-log4j12的依赖了

spark-core中的jul-to-slf4j和jcl-over-slf4j会和上面两个包冲突。随便去掉一套就可以了 
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:16577次
    • 积分:648
    • 等级:
    • 排名:千里之外
    • 原创:77篇
    • 转载:0篇
    • 译文:3篇
    • 评论:2条
    最新评论