1)spark-1.3.0-bin-hadoop2.4.tar 解压后是可以直接在Windows下运行的,当然这时只是单机模式。
2)本地提交的方法是在Spark的解压主目录下(CMD)进入,输入:bin\spark-submit --class ScalaMain ./test/ScalaJarT.jar local
其中ScalaMain是类名(记得命名空间不能丢,我的这个类是没有命名空间的),本地任务包的路径采用的格式是:./test/xxx.jar
其中local很关键,表示是本地模式。
3)费了九牛二虎之力才在搞定这个格式。
4)提交任务的结果当然可以保存到本地,但最好不要用saveAsXXXXX这个Scala的函数,用Java的IO会比较好,不然提交任务执行会失败,会需要安装一个Winutils的东东。
到此Spark的helloword总算搞定。一路都是坑,以此为记.