需要的软件及对应的版本号,一定要注意版本号,否则虽然安装成功,但最终无法运行。
软件如下,已试验成功,hadoop是2.10.1版本,jdk是8版本,安装路径不要有空格,否则环境变量中设置的无法起到作用。
hadoop-2.10.1.tar.gz
jdk-8u181-windows-x64.exe
Anaconda3-5.2.0-Windows-x86_64.exe
pyhton3.7
pyspark-2.3.2
参考教程:
安装pyspark:https://www.jianshu.com/p/c5190d4e8aaa
安装hive:https://blog.csdn.net/luanpeng825485697/article/details/79430862
配置集群:https://blog.csdn.net/weixin_43942345/article/details/88312526