- 博客(2)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 关于spark利用jar包跑job的一些总结（二）
利用scalac以及jar命令得到spark上可运行的jar包需要提前准备的： 1. JDK环境。 2. Scala环境，在此不多赘述，自行查找配置。（个人建议用2.10.*版本。之前用2.11版本，发现与spark-assembly那个jar包中的Scala环境不匹配，出现奇葩的错误）。 3. spark api即spark-assembly*.jar包（找不到的可以在服务器上或者你的
2016-08-31 11:52:02
770
原创 关于spark利用jar包跑job的一些总结（一）
关于spark利用jar包跑job的一些总结（一）一、分别利用eclipse和IDEA打jar包用eclipse打包：用eclipse打包最终还是不能放在spark上用，如果是需要解决问题的，可以直接跳到IDEA部分，这里只介绍一些eclipse的过程，以及最后的问题（如果有能指出问题所在的小伙伴，求指导求教育）新建Scala工程 - 新建Scala Class - 编写代码：import org.
2016-08-31 11:13:43
1627
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人