Windows下使用spark-without-hadoop版本安装

一、without-hadoop版本的含义

Spark的版本名称中的“without Hadoop”具有误导性:这意味着该版本不与特定的Hadoop发行版绑定,并不意味着没有hadoop即可运行:用户应指出在哪里可以找到Hadoop

二、windows环境下环境变量的修改

1、非without-hadoop版本配置修改方法

  • 找到SPARK_HOME目录下的conf/spark-env.sh.template,将该文件改名为spark-env.cmd(注意不是改名为spark-env.sh,因为window不认sh文件)
  • 编辑spark-env.cmd文件,将#全部替换为rem,windows环境下注释用rem
    在spark-env.cmd文件最后添加如下内容
set SPARK_MASTER_HOST=localhost
set SPARK_MASTER_PORT=7077

2、without-hadoop版本配置修改方法

without-hadoop版本如果只按上面的操作修改,执行spark-shell.cmd 会报错:

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream

这是因为without-hadoop版本没有直接包含依赖的hadoop的jar,所以需要在配置文件里指定hadoop的jar位置。

我之前在网上查到的教程中都是在$SPARK_HOME/conf/spark-env.cmd 中添加下列行(这是具有误导性的)

set SPARK_DIST_CLASSPATH=%HADOOP_HOME%/bin/hadoop classpath

实际应该是具体指明依赖的哪些hadoop下的lib文件,解决方案是在$SPARK_HOME/conf/spark-env.cmd 最后添加如下内容

set SPARK_DIST_CLASSPATH="%HADOOP_HOME%/etc/hadoop/*;%HADOOP_HOME%/share/hadoop/common/lib/*;%HADOOP_HOME%/share/hadoop/common/*;%HADOOP_HOME%/share/hadoop/hdfs/*;%HADOOP_HOME%/share/hadoop/hdfs/lib/*;%HADOOP_HOME%/share/hadoop/hdfs/*;%HADOOP_HOME%/share/hadoop/yarn/lib/*;%HADOOP_HOME%/share/hadoop/yarn/*;%HADOOP_HOME%/share/hadoop/mapreduce/lib/*;%HADOOP_HOME%/share/hadoop/mapreduce/*;%HADOOP_HOME%/share/hadoop/tools/lib/*"

这里注意2点:

  1. windows下环境变量的读取用%HADOOP_HOME%,Linux下用${HADOOP_HOME},不要用错了
  2. windows下环境变量的分隔符是分号’;‘,而Linux下环境变量的分割符是冒号’:',也不要用错了

三、windows下启动单机版Spark Standalone

由于%SPARK_HOME%\sbin目录没有start-all.cmd,也没有start-master.cmd和start-worker.cmd(start-all.sh,start-master.sh和start-worker.sh都是给Linux环境用的),所以我们需要使用%SPARK_HOME%\bin目录下的spark-class手动启动。

  1. 要启动主工作者,请在%SPARK_HOME%/bin目录中打开Windows命令提示符,然后复制并粘贴此命令,然后按Enter
spark-class org.apache.spark.deploy.master.Master
  1. 浏览http://localhost:8080,如果收到错误消息"找不到服务器",则刷新页面。从此页面,将获得唯一的URL。看起来像这样的URL:spark://localhost:7077
  2. 打开一个新终端,然后转到%SPARK_HOME%/bin,复制并粘贴此行代码,然后按Enter
spark-class org.apache.spark.deploy.worker.Worker spark://ip:port

这部分spark://ip:port,是从步骤2获得的URL。

最后,验证结果:
在%SPARK_HOME%/bin目录下,打开一个新的终端,执行下面命令:

spark-submit --class org.apache.spark.examples.SparkPi --master spark://localhost:7077 ../examples/jars/spark-examples_2.12-3.0.0.jar 10 

求得π的值,至此大功告成!

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: spark-3.3.0-bin-hadoop3.tgz和spark-3.3.0-bin-without-hadoop.tgz是Apache Spark开源项目提供的两种软件包。它们都是用于在分布式计算环境中进行大规模数据处理和分析的工具。 spark-3.3.0-bin-hadoop3.tgz包含了Apache Spark的二进制文件以及Hadoop分布式文件系统的依赖库。Hadoop是一个开源的分布式计算框架,它提供了分布式存储和处理大规模数据的能力。如果你计划在Hadoop集群上运行Spark应用程序,那么你应该选择这个软件包。 spark-3.3.0-bin-without-hadoop.tgz是一个独立的Spark软件包,没有包含Hadoop依赖库。如果你已经在你的系统上配置了Hadoop环境,或者你想在其他分布式文件系统上运行Spark应用程序,那么你可以选择这个软件包。 在选择软件包时,你应该根据你的需求和环境来决定。如果你已经有了Hadoop环境并且想在上面运行Spark应用程序,那么应该选择spark-3.3.0-bin-hadoop3.tgz。如果你只是想在单机或其他分布式文件系统上运行Spark应用程序,那么可以选择spark-3.3.0-bin-without-hadoop.tgz。 ### 回答2: spark-3.3.0-bin-hadoop3.tg和spark-3.3.0-bin-without-hadoop.tgz是Apache Spark的不同版本的压缩文件。 spark-3.3.0-bin-hadoop3.tg是包含了Apache Hadoop版本3.x的已编译的Apache Spark版本。Apache Spark是一个开源的分析引擎,用于处理大规模数据计算和分析。它支持并行处理,能够在大规模集群上进行分布式计算任务的执行。而Apache Hadoop是一个用于处理大数据的开源框架,它提供了分布式存储和计算的能力。因此,当使用spark-3.3.0-bin-hadoop3.tg时,可以方便地在与Hadoop版本3.x兼容的环境中使用Apache Spark,并且可以充分利用Hadoop的优势。 spark-3.3.0-bin-without-hadoop.tgz是不包含Apache Hadoop的已编译Apache Spark版本。这个版本适用于用户已经在集群中安装了独立的Hadoop环境,或者希望使用其他版本Hadoop的情况。通过使用spark-3.3.0-bin-without-hadoop.tgz,用户可以自由选择与他们的Hadoop环境兼容的Spark版本,并且可以更容易地进行集成和调试。 总之,spark-3.3.0-bin-hadoop3.tg和spark-3.3.0-bin-without-hadoop.tgz是Apache Spark的不同版本的压缩文件,分别适用于已安装Hadoop版本3.x的环境和希望使用其他版本Hadoop或已有独立Hadoop环境的用户。用户可以根据自己的需求选择对应的版本进行安装使用。 ### 回答3: spark-3.3.0-bin-hadoop3.tg 和 spark-3.3.0-bin-without-hadoop.tgz 是两个版本的 Apache Spark 软件包。 spark-3.3.0-bin-hadoop3.tg 是一个含有 Hadoop 的 Apache Spark 软件包。Hadoop 是一个用于处理大规模数据的开源框架,它提供了分布式存储和计算的能力。这个软件包的目的是为了与 Hadoop 3.x 版本兼容,它包含了与 Hadoop 的集成以及针对分布式存储和计算的优化。如果你想要在已经安装Hadoop 3.x 的集群上使用 Apache Spark,这个软件包将是一个好的选择。 另一方面,spark-3.3.0-bin-without-hadoop.tgz 是一个不包含 Hadoop 的 Apache Spark 软件包。这个软件包主要用于那些已经在集群中运行了其他的大数据处理框架(如 Hadoop、Hive 等)的用户。如果你的集群已经配置好了其他的大数据处理框架,而且你只需要 Spark 的计算引擎,那么这个软件包会更加适合你。 无论你选择哪个软件包,它们都提供了 Apache Spark 的核心功能,例如分布式计算、内存计算、数据处理、机器学习等。你可以根据你的实际需求和环境选择合适的软件包进行安装和配置。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值