idea+scala+spark+jdk+win

1.下载idea社区版，安装scala插件

2.下载spark和对应版本scala（重要http://spark.apache.org/docs/latest/index.html）jdk 8  sbt

3.安装spark scala jdk sbt并添加相应环境变量

4.新建 scala项目   + sbt   

5.点击structure project 添加spark jar文件（spark/jar文件）

6.new ->scala class->object->添加代码

 

两个问题：1. Failed to locate the winutils binary in the hadoop binary path

                  2.Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

解决办法：hadoop在文中缺少依赖库，下载（https://github.com/4ttty/winutils），其中的2.7.1适用于已经安装的hadoop2.7.7，把bin下的所有文件复制粘贴到hadoop/bin下，已有的就选择跳过，即可解决这俩问题

 

运行代码时错误：error: not found: value sqlContext

解决办法：不同版本造成，把sqlContext换成spark.sqlContext解决问题，参见：https://stackoverflow.com/questions/42993521/apache-spark-error-not-found-value-sqlcontext