环境部署
安装IntelliJ IDE
下载安装即可 ,选择Community版本
下载Spark源码
cd /Users/jackli/Desktop/Pjt_idea/
git clone https://github.com/apache/spark
IntelliJ 安装相关依赖
打开IntelliJ
Import Project ,选择spark文件夹
选择Import Project from external model , 选择 SBT
选择 finish
等待 30-60分钟左右,下载相关依赖包。
退出IntelliJ IDE
安装sbt
brew install sbt
sbt编译
cd ~/spark
sbt package
需要2小时左右完成编译,编译完成后输出如下信息
[info] Packaging /Users/jackli/Desktop/Pjt_idea/spark/examples/target/scala-2.11/jars/spark-examples_2.11-2.3.0-SNAPSHOT.jar ...
[info] Done packaging.
[success] Total time: 2433 s, completed 2017-6-20 21:20:13
此时后看到jar文件
cd /Users/jackli/Desktop/Pjt_idea/spark/assembly/target/scala-2.11/jars/
ls
程序开发
创建WordCount项目
Create a Project
选择 IDEA
Project name - “WordCount”
导入jar包
File - Project Structure - Libraries - 选择jar目录位置 ,OK ,OK确认
导入完成后项目里可看到jar包
编写代码
新建scala文件
编写代码
运行
运行配置
运行
Run - Run WordCount