本文档详细介绍了如何在IntelliJ IDEA中创建Spark Scala项目，包括设置VM选项以本地运行，配置日志级别，添加依赖，构建JAR包，以及启动Spark集群并提交作业的步骤。通过这些步骤，读者可以成功运行一个WordCount程序。
1.设置ssh无密码登陆
ssh-keygen之后一路回车
cd .ssh 进入隐藏文件夹
touch authorized_keys 创建文件
cat id_rsa.pub > authorized_keys 将ssh文件夹中的id_rsa.pub导入到新建的文件中
chmod 600 authorized_keys 设置权限
ssh-keygen之后一路回车
cd .ssh 进入隐藏文件夹
touch authorized_keys 创建文件
cat id_rsa.pub > authorized_keys 将ssh文件夹中的id_rsa.pub导入到新建的文件中
chmod 600 authorized_keys 设置权限
2.接http://blog.csdn.net/u014273195/article/details/70834562中的scala项目，编写一个WordCount程序
几点注意：
1. 如果本地运行，即在IDEA中打印结果，需要在RUN --Edit configuration 中，设置vm option "-Dspark.master=local"
最低0.47元/天 解锁文章
4902
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
