上面一篇文章博主已经给大家演示好了如何去配置一个本机的scala开发环境,现在我们就一起去写我们的第一个spark开发的scala程序吧!
- 打开IDEA,选择创建一个新的工程文件。
- 点击scala,创建一个scala工程
- 输入我们程序名称——word_count,我们要写一个词频统计程序。
JDK选择1.7
scala选择我们下载安装好的scala环境目录,这里是2.10.5
点击完成,即可进入程序界面
- 导入scala与spark配置
新建两个包,main与count
便于整理自己的代码结构 - 导入scala包与spark包
右键进入Module setting界面或直接按快捷键F4
进入librarys
点击JAVA,然后找到spark路径spark-1.5.1-bin-hadoop2.6\lib\spark-assembly-1.5.1-hadoop2.6.0.jar
导入jar包。
然