spark windows开发调试环境

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/ABCDEFG0929/article/details/78626853

spark在windows搭建开发测试环境,需要进行配置
1、JDK
本人用的是jdk1.7.0_15
2、hadoop-2.6.0.tar.gz
下载hadoop-2.6.0.tar.gz,解压,假如解压到D:\hadoop-2.6.0,环境变量添加HADOOP_HOME=D:\hadoop-2.6.0,path添加%HADOOP_HOME%\bin;
3、spark-1.6.0-bin-hadoop2.6.tgz
下载spark-1.6.0-bin-hadoop2.6.tgz,解压,假如解压到D:\spark-1.6.0-bin-hadoop2.6,环境变量添加SPARK_HOME=D:\spark-1.6.0-bin-hadoop2.6,path添加%SPARK_HOME%\bin;
以上的三个需要注意版本匹配,配置完成后重启电脑。

展开阅读全文

没有更多推荐了,返回首页