spark
文章平均质量分 52
prettysky123
这个作者很懒,什么都没留下…
展开
-
SPARK--Windows下利用scala for eclipse搭建简易的spark开发环境
这段时间在做异构数据库,由于工作要拓展到分布式上,所以开始学习spark,也算是刚刚涉足spark大数据计算的领域。 之前写过SparkSQL的程序,但当时是直接将Scala程序放到服务器上用sbt来将原程序达成jar包,再使用spark-submit提交的,但是与后来越觉得这种方式好麻烦,没法进行代码调试,所以今天下定决心要使用eclipse去搭建一个Scala的开发环境,但只是简易搭原创 2017-11-26 22:04:29 · 463 阅读 · 2 评论 -
spark--IntelliJIdea中jar包提交到spark报错解决
在IntelliJ上利用Maven开发spark程序,今天遇到一个问题:在IntelliJ上可以运行的程序,利用Bulid Artifacts来打好jar包之后,再用spark-submit 提交运行之后老是报错: $ spark-submit --class MySpark --master local sparktest.jar SLF4J: Class path contains m原创 2018-01-26 22:20:51 · 877 阅读 · 0 评论 -
使用IntelliJ开发spark项目
****1新建maven项目****** 在欢迎界面点击Create New Project,在打开的页面左侧边栏中,选择Maven,然后在右侧的Project SDK一项中,查看是否是正确的JDK配置项正常来说这一栏会自动填充的,因为我们之前在1.3中已经配置过了全局的Project JDK了,如果这里没有正常显示JDK的话,可以点击右侧的New…按钮,然后指定JDK安装路径的根目录即可),然...原创 2018-05-13 09:22:55 · 308 阅读 · 0 评论