- 博客(2)
- 资源 (3)
- 收藏
- 关注
原创 关于spark利用jar包跑job的一些总结(二)
利用scalac以及jar命令得到spark上可运行的jar包需要提前准备的: 1. JDK环境。 2. Scala环境,在此不多赘述,自行查找配置。(个人建议用2.10.*版本。之前用2.11版本,发现与spark-assembly那个jar包中的Scala环境不匹配,出现奇葩的错误)。 3. spark api即spark-assembly*.jar包(找不到的可以在服务器上或者你的
2016-08-31 11:52:02 789
原创 关于spark利用jar包跑job的一些总结(一)
关于spark利用jar包跑job的一些总结(一)一、分别利用eclipse和IDEA打jar包用eclipse打包:用eclipse打包最终还是不能放在spark上用,如果是需要解决问题的,可以直接跳到IDEA部分,这里只介绍一些eclipse的过程,以及最后的问题(如果有能指出问题所在的小伙伴,求指导求教育)新建Scala工程 - 新建Scala Class - 编写代码:import org.
2016-08-31 11:13:43 1633
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人