spark在windows安装

48 篇文章 0 订阅
5 篇文章 0 订阅
## download environment:
# 1. java: https://www.oracle.com/java/technologies/downloads/#jdk8
# 2. winutils-hadoop: https://github.com/cdarlint/winutils
# 3. spark: https://spark.apache.org/downloads.html

## uncompress and install:
# 1、将java安装到`C:\Install\Java`,设置环境变量`JAVA_HOME=C:\Install\Java\jdk-x-xxx`,且添加`%JAVA_HOME%\bin;`到path环境变量
# 2、将spark安装包解压到`C:\Install\SparkInstall\Spark`,
# 设置环境变量`SPARK_HOME=C:\Install\SparkInstall\Spark\spark-x.x.x-bin-hadoopx-scala2.xx`,且添加`%SPARK_HOME%\bin;`到path环境变量
# 3、创建hadoop路径`C:\Install\SparkInstall\Hadoop\hadoopx.x\bin`,并把下载的winutils.exe放到此处
# 4、设置环境变量`HADOOP_HOME=C:\Install\SparkInstall\Hadoop\hadoopx.x`,且添加`%HADOOP_HOME%\bin;`到path环境变量
# 5、创建hive路径`C:\Install\SparkInstall\Hive`,在cmd窗口执行`winutils.exe chmod -R 777 C:\Install\SparkInstall\Hive`
# 6、复制`C:\Install\SparkInstall\Spark\spark-x.x.x-bin-hadoopx-scala2.xx\python\pyspark`到`C:\Install\anaconda3\Lib\site-packages`。
# 7、设置环境变量`PYSPARK_PYTHON=C:\Install\anaconda3\python.exe`、`PYSPARK_DRIVER_PYTHON=C:\Install\anaconda3\python.exe`
# 8、测试:在cmd中执行`pyspark`或`spark-shell`等

# 大功告成!
  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值