Window10 IDEA 搭建Spark

• Window10 IDEA 搭建Spark

  1.下载spark-2.4.7-bin-hadoop2.7（版本以自己为主，不用和我一样）
  2.下载scala（与spark内置的scala版本相同），spark下的jars文件夹可以看到依赖的scala版本
  3.IDEA中，File-Project Structure-Global Libraries中添加scalaSDK
  

  4.spark目录下的jars文件夹导入项目
  
  

  5.（十分关键！！）下载winUtils（git和github都有，里面直接搜），版本与spark里的hadoop对应，jars里可以看到我的是hadoop2.7.3
  
  所以我下载了这个2.7.3的
  

6.(十分重要) 创建环境变量HADOOP_HOME，添加path %HADOOP_HOME%\bin

7.重启电脑使环境变量生效，我这里不重启的话还是找不到%HADOOP_HOME%

8.之后我就可以在IDEA中编写和运行spark程序了，在虚拟机上用eclipse比较慢，卡卡的还容易崩溃，主要是电脑配置不行。有问题的可以评论，经常在线。