参考链接:
https://www.jianshu.com/p/aa8cfaa26790
搭建spark环境:https://blog.csdn.net/shenshendeai/article/details/54377703
https://blog.csdn.net/hongxingabc/article/details/81565174
1、获取hadoop版本包,解压到本地目录(和java安装在一个盘符)
2、下载window下的bin目录文件:https://github.com/steveloughran/winutils
解压后将bin目录下的文件,覆盖hadoop安装目录的bin目录;
需要给文件赋权:
以管理员身份打开cmd,运行spark-shell,如果遇到访问权限等错误的话,运行 winutils.exe chmod 777 C:\tmp\hive
winutils.exe chmod 777 -R C:\tmp\hive
3、配置hadoop文件(同在linux环境下配置相似,可参考>https://blog.csdn.net/u010108512/article/details/89405204 )
此处涉及到Java_Home配置,需要注意:
这种错误一般时因为java安装路径问题导致:
当jdk安装在Program Files目录时由于dos下超过6个字符的取前六个,所以找不到路径。在设置JAVA_HOME时替换为:PROGRA~1,如:set JAVA_HOME=D:\PROGRA~1\Java\jdk
4、配置hadoop的环境变量,配置完后在cmd命令行输入hadoop version能显示hadoop版本;
5、