windows下spark环境的搭建
1.下载JDK
JDK
安装 E:\advancedos\JDK
配置环境: 添加E:\advancedos\JDK\bin至系统变量和环境变量中
验证:java -version
2.下载scala
scala
直接安装,默认添加至环境变量中
3.下载spark
spark
解压,添加至环境变量中
将spark文件夹取消只读,并在安全中设置为完全控制
4.下载hadoop2.7
hadoop
python文件转为jar
jythonc -a -C “E:\advancedos\JDK\bin\javac.exe” -jar test.jar test.py
E:\advancedos\JDK\bin\javac.exe中间为jdk中kavac.exe的目录
test.jar为目标jar
test.py为源代码