spark安装--单机

最新推荐文章于 2022-07-25 18:19:35 发布
最新推荐文章于 2022-07-25 18:19:35 发布
阅读量211 收藏
点赞数
分类专栏： 大数据 spark 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/little_sloth/article/details/107713746
版权
本文介绍了Spark的单机安装步骤，包括上传安装包、解压、配置环境变量，以及如何使Spark运行在YARN上。在完成配置后，可以通过sbin/start-all.sh启动服务，并使用spark-shell在本地或YARN上运行任务。
摘要由CSDN通过智能技术生成

spark安装–单机

  1. 上传安装包 解压
  2. vi /etc/profile 配置环境
 export SPARK_HOME=/opt/spark
    export PATH=$SPARK_HOME/bin:$PATH
  1. cp ./conf/spark-env.sh.template ./conf/spark-env.sh
  2. vi ./conf/spark-env.sh
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export JAVA_HOME=/opt/jdk8
    export HADOOP_HOME=/
最低0.47元/天 解锁文章
树很懒～
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark单机安装
欢迎订阅 -- 小源笔迹
04-30 408
spark安装，Spark支持运行在Yarn或者Mesos上，同时也提供自己的资源管理系统，即Standalone模式．为了方便本地开发，Spark提供了Local运行模式．不同的环境的开发代码是相同的，只是在提交到不同的调度系统时参数不同而已．
单机spark的安装
youhebuke_f的博客
10-03 477
单机spark
spark单机版安装
杜海的博客
02-18 1829
安装 Spark 之前需要先安装 Java，Scala 及 Python。 一、安装java java安装过程不在多说，可以在我其他文章中查找，下面附上java SE JDK下载链接 http://www.oracle.com/technetwork/java/javase/downloads/index.html 查看java版本 1.2 安装 Scala [hadoop@cnbugs ~]$ wget https://downloads.lightbend.com/scala/.
Spark单机环境安装
zhaoguowei的博客
11-20 1848
1.下载 http://spark.apache.org/downloads.html 2. 解压tar -zxvf spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz -C ~/app/ 3. 配置环境变量 vi ~/.bash_profile export SPARK_HOME=/home/hadoop/app/spark-2.2.0-bin-2.6.0-cdh5.7.0 e...
spark-3.1.3-bin-hadoop3.2.tgz
05-19
在解压并安装"spark-3.1.3-bin-hadoop3.2.tgz"后，你需要配置环境变量，如SPARK_HOME，然后可以通过启动Master和Worker节点来建立Spark集群。对于单机测试，可以使用本地模式。使用Spark时，你可以编写Python、Scala...
spark-3.1.3-bin-without-hadoop.tgz
05-20
安装Spark-3.1.3的过程主要包括以下几个步骤： 1. 解压压缩包：使用tar命令解压文件，例如`tar -xvf spark-3.1.3-bin-without-hadoop.tgz`。 2. 配置环境变量：在`~/.bashrc`或`~/.bash_profile`中设置SPARK_HOME，...
spark2.3.0-hadoop2.6.tgz
07-23
在安装Spark 2.3.0之前，首先需要确保已经安装了Scala 11.x版本。Scala是Spark的基础编程语言，它的版本需要与Spark兼容。Scala提供了一种强大的面向对象和函数式编程模型，使得编写分布式计算程序变得更为便捷。 ...
spark-2.4.6-bin-2.6.0-cdh5.7.0.tgz
07-25
在测试和个人使用环境中，Spark 2.4.6-bin-2.6.0-cdh5.7.0的压缩包可以方便地部署在单机或多节点集群上，通过简单的配置即可启动Spark Shell或提交Spark应用程序进行数据处理。 总的来说，Spark 2.4.6结合Hadoop ...
Linux系统安装单机版Spark
01-09
最近要开发智能推荐引擎，后期系统需要搭载在Spark集群上，前期要开发相关脚本，需要一个测试环境，所以向公司申请了一台主机，平台是Linux，操作系统CentOS，背景交代完毕，现在需要在单机Linux主机上部署Spark。...
Spark2.1.0安装与配置（单机版）
WQS
07-25 1963
该安装教程是承接Spark源码编译B站教程所制，因此所使用的安装包是在Spark源码编译教程中得到文件以及官网的，其实两个文件的功能几乎相同。关于为什么进行Spark源码编译，主要是因为个人喜好，编译在个人看来只是一种体验。下载官网https提供的安装包，毕竟是官方的，会可靠点，其中有without-hadoop和hadoop2.x或hadoop3.x的，是含hive支持的，是不含hive支持的，含支持的编译命令与自定义编译的命令是相同的（除了hadoop版本，可查看安装包文件中根目录的文件）......
Linux安装、运行单机版Spark
热门推荐
yzh_1346983557的博客
08-13 1万+
一. 安装JDK，可参考：Linux（CentOs7）安装OpenJDK1.8。 二. 安装spark。 说明：安装单机版spark只需要安装jdk和spark就可以了，因为spark内置的有scala，可不单独安装spark依赖的scala。这是网上的说法，我因为安装了scala就没有再去卸载。 2.1 到spark官网下载Spark压缩包及解压： 官网下载地址：http:/...
spark 安装单机版和集群
哎幽的成长
11-18 6325
本文介绍安装mac单机版的spark，和spark 集群安装 分以下步骤 安装scala 下载spark 压缩包并解压 修改spark的配置文件 配置环境变量 验证安装情况 安装Scala mac安装scala教程 下载spark压缩包并解压 到官网下载spark的安装包（我用的是spark-2.0.1-bin-hadoop2.7.tgz） http://mirr
Spark安装与配置（单机版）（保姆级教程）
wanjialin的博客
12-06 6633
Spark简述： Spark：快速通用的大规模数据处理引擎，特点是速度快，易使用。 Spark安装前准备工作： 1、安装配置好jdk，如果不会安装可以跳转到脚本安装jdk保姆级教程 2、搭建配置好Hadoop，如果不会配置安装可以跳转到Hadoop配置保姆级教程 3、安装好Scala，如果不会安装可以跳转到Linux下安装配置Scala保姆级教程 Spark安装步骤： 1、通过xftp将spark安装包上传到Linux中，版本是spark-2.4.5-bin-hadoop2.6.tgz 2、解压缩tar -
ubuntu下安装Spark（单机环境）
yangyangrenren的专栏
01-20 6242
ubuntu中安装spark
Windows下单机安装Spark开发环境
weixin_34409741的博客
02-25 272
机器：windows 10 64位。 因Spark支持java、python等语言，所以尝试安装了两种语言环境下的spark开发环境。 1、Java下Spark开发环境搭建 1.1、jdk安装 安装oracle下的jdk，我安装的是jdk 1.7，安装完新建系统环境变量JAVA_HOME，变量值为“C:\Program Files\Java\jdk1.7.0_79”，视自己安装路劲而定。 ...
Spark 单机安装配置
jarth的专栏
11-09 4055
本文将介绍Apache Spark 1.6.0在单机的部署，与在集群中部署的步骤基本一致，只是少了一些master和slave文件的配置。 备注：经验证，spark1.5+hadoop2.5.2+jdk1.7同样适用一下步骤。 0.Spark的安装准备 Spark官网的文档 http://spark.apache.org/docs/latest/ 里是这样说的： S
Linux安装单机版Spark(CentOS7+Spark2.1.1+Scala2.12.2)
pucao_cug的专栏
05-17 1万+
Linux安装单机版Spark 版本号：CentOS7 Spark2.1.1 Scala2.12.2 JDK1.8
Spark单机与集群安装与简单命令行使用
Lisam Blog
09-14 818
参考自书籍《Hadoop+Spark 大数据巨量分析与机器学习》环境依赖： jdk 1.7 hadoop 2.8.4  (hadoop安装请见https://blog.csdn.net/qq_28666081/article/details/81843369) scala 2.11.6 spark 2.1.21 安装scala $ wget https://www.scala-lang.org...
spark单机模式安装步骤
最新发布
04-06
以下是Spark单机模式的安装步骤： 1. 首先，确保你的机器上已经安装了Java环境。你可以通过在终端中输入`java -version`来检查Java是否已经安装。 2. 下载Spark安装包。你可以从Spark官方网站...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值