IDEA中创建maven工程进行本地运行spark

一、开始

1.背景

• 使用idea开发工具进行WordCount程序，也就是在本地进行spark的计算，真的很快很快，比Hadoop要快很多。
• 这个是在生产环境中测试spark，虽然在spark-shell上测试的比较多，但是这样的我们也得会呀，关键是idea不平凡呀，这么好的软件不好好利用，好了，走程序，我们在idea中编写好程序然后打成jar包，最后提交到集群hdfs上。

二、创建、插件、编写

1.创建

1.创建一个Maven项目。一图胜千言，来吧。

注意：
学过java的肯定要选class，这里不正确，当然可以选，但是在运行的时候还得加上object这个。原因我忘了，可能是因为scala语言的原因，等我再查。

2.插件

1.创建好后就要使用spark的插件，因为要在本地运行可以不用网络的情况