spark 一步一步走

本文详细介绍了如何在Windows 7环境下安装Spark,包括选择预编译包以避免运行错误,以及如何修改配置文件使Spark在Win7上正常工作。重点提到了将`spark-env.sh.template`转换为`spark-env.cmd`,并调整`load-spark-env.cmd`中的配置路径,以确保Spark正确加载配置。
摘要由CSDN通过智能技术生成

spark win7 安装

直接下载 spark

在选择 package type 的时候 请选择包含hadoop的预编译包,不然在cmd执行spark-shell的时候 就会出现这样的错误: Failed to find Spark assembly JAR. You need to build Spark before running this program

使用

在win7下使用 (.sh 变为.cmd)

加载配置:
%SPARK_HOME%\conf 目录里面的spark-env.sh.template 这个文件改成 spark-env.cmd
然后在%SPARK_HOME%\bin 下面的 load-spark-env.cmd 这个命令中 会有加载spark-env.cmd 的写法

:LoadSparkEnv
if exist "%user_conf_dir%\spark-env.cmd" (
  call "%user_conf_dir%\spark-env.cmd"<
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值