查看了很多博客和历史记录,没有一个能完整的解决自己碰到的问题,这里做个记录,方便有需要的人搭建自己的开发环境。
- 软件版本
hadoop 2.7.3
spark 2.2.1
scala 2.1.8
java 1.8
pycharm 2019.1
windows 7旗舰版
2.安装java1.8
配置环境变量
添加变量 JAVA_HOME 值为jdk目录
在path 追加 ;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;
保存后
cmd 运行 java -version
3.安装scala
windows 下直接下载msi 直接运行 会自动写入到path
安装完毕,验证Scala
4.安装spark
解压文件即可。
5.安装hadoop
下载hadoop解压之后 ,设置环境变量
添加 HADOOP_HOME 值为hadoop解压目录