Scala Spark
chengxue5yuan
这个作者很懒,什么都没留下…
展开
-
关于spark利用jar包跑job的一些总结(二)
利用scalac以及jar命令得到spark上可运行的jar包需要提前准备的: 1. JDK环境。 2. Scala环境,在此不多赘述,自行查找配置。(个人建议用2.10.*版本。之前用2.11版本,发现与spark-assembly那个jar包中的Scala环境不匹配,出现奇葩的错误)。 3. spark api即spark-assembly*.jar包(找不到的可以在服务器上或者你的原创 2016-08-31 11:52:02 · 789 阅读 · 0 评论 -
关于spark利用jar包跑job的一些总结(一)
关于spark利用jar包跑job的一些总结(一)一、分别利用eclipse和IDEA打jar包用eclipse打包:用eclipse打包最终还是不能放在spark上用,如果是需要解决问题的,可以直接跳到IDEA部分,这里只介绍一些eclipse的过程,以及最后的问题(如果有能指出问题所在的小伙伴,求指导求教育)新建Scala工程 - 新建Scala Class - 编写代码:import org.原创 2016-08-31 11:13:43 · 1632 阅读 · 0 评论