IntelliJ IDE Spark程序开发

环境部署

安装IntelliJ IDE

下载安装即可 ,选择Community版本

下载Spark源码

cd /Users/jackli/Desktop/Pjt_idea/
git clone https://github.com/apache/spark

IntelliJ 安装相关依赖

1. 打开IntelliJ

2. Import Project ，选择spark文件夹

   

3. 选择Import Project from external model ， 选择 SBT

   

4. 选择 finish

   

5. 等待 30-60分钟左右，下载相关依赖包。

6. 退出IntelliJ IDE

安装sbt

brew install sbt 

sbt编译

cd ~/spark 
sbt package 

需要2小时左右完成编译，编译完成后输出如下信息

[info] Packaging /Users/jackli/Desktop/Pjt_idea/spark/examples/target/scala-2.11/jars/spark-examples_2.11-2.3.0-SNAPSHOT.jar ...
[info] Done packaging.
[success] Total time: 2433 s, completed 2017-6-20 21:20:13

此时后看到jar文件

cd /Users/jackli/Desktop/Pjt_idea/spark/assembly/target/scala-2.11/jars/
ls 

程序开发

创建WordCount项目

• Create a Project

  

• 选择 IDEA

  

• Project name - “WordCount”

  

导入jar包

• File - Project Structure - Libraries - 选择jar目录位置 ，OK ，OK确认

  

  

• 导入完成后项目里可看到jar包

  

编写代码

• 新建scala文件

  

  

• 编写代码

  

运行

• 运行配置

  

  

  

• 运行
  Run - Run WordCount