Spark学习(单机本地提交作业)

1)spark-1.3.0-bin-hadoop2.4.tar 解压后是可以直接在Windows下运行的,当然这时只是单机模式。

2)本地提交的方法是在Spark的解压主目录下(CMD)进入,输入:bin\spark-submit --class ScalaMain ./test/ScalaJarT.jar local

其中ScalaMain是类名(记得命名空间不能丢,我的这个类是没有命名空间的),本地任务包的路径采用的格式是:./test/xxx.jar

其中local很关键,表示是本地模式。

3)费了九牛二虎之力才在搞定这个格式。

4)提交任务的结果当然可以保存到本地,但最好不要用saveAsXXXXX这个Scala的函数,用Java的IO会比较好,不然提交任务执行会失败,会需要安装一个Winutils的东东。


到此Spark的helloword总算搞定。一路都是坑,以此为记.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值