一、利用开发工具IntelliJ IDEA编写Spark应用程序(Scala+Maven)
对Scala代码进行打包编译时,可以采用Maven,也可以采用sbt,相对而言,业界更多使用sbt。这里介绍IntelliJ IDEA和Maven的组合使用方法
1、本文采用的工具是IntelliJ IDEA 2016,IDEA工具越来越被大家认可,开发Java, Python ,scala 支持都非常好
下载链接 : https://www.jetbrains.com/idea/download/
安装直接下一步即可
2、安装scala插件,File->Settings->Editor->Plugins,搜索scala即可安装
可能由于网络的原因下载不了,可以采取离线安装的方式,例如:
提示下载失败后,根据提示的地址下载离线安装包 http://plugins.jetbrains.com/files/631/24825/python-145.86.zip
将下载好的离线安装包拷贝到idea软件的plugins目录下。
在界面选择离线安装即可:
3、配置JDK
首先我们打开Project Structure,然后我们添加JDK(这里默认已经安装JDK并且配置了环境变量)。
4、配置全局Scala SDK
还是在Project Structure界面,操作如下。
然后我们右键我们添加的SDK选择Copy to Project Libraries...OK确认。如图
配置好后我们就可以创建工程文件了。
具体的操作步骤参考林子雨老师的博客
3、创建项目
点击Next
创建lib目录将spark-assembly-1.6.0-hadoop2.6.0.jar 放到此目录下 然后导入此jar包
最后按Alt+Enter导包 运行项目。