安装Spark，搭建伪分布式和完全分布式（3节点）

最新推荐文章于 2022-06-16 09:34:23 发布
最新推荐文章于 2022-06-16 09:34:23 发布
阅读量391 收藏 1
点赞数
分类专栏： Linux spark 大数据学习 文章标签： linux spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mmknzb/article/details/104577166
版权
本文详细介绍了如何在Linux环境下安装Spark，包括设置伪分布式和完全分布式。首先，通过解压缩文件并配置`spark-env.sh`来搭建伪分布式，将localhost替换为主机名，并成功启动Master和Worker。接着，停止伪分布式服务，关闭防火墙，启用SSH免密登录，修改slaves文件，最后在主节点上启动全分布式集群。
摘要由CSDN通过智能技术生成

安装Spark，搭建伪分布式和完全分布式（3节点）

搭建伪分布式

解压缩文件
tar -zxvf /opt/software/spark-2.1.0-bin-hadoop2.7.tgz -C /opt/module/
在这里插入图片描述
因为spark和hadoop的目录结构相似，都有bin和sbin目录，为了防止冲突，就不配合环境变量了
在这里插入图片描述
进入conf目录，对配置文件重命名
mv spark-env.sh.template spark-env.sh
在这里插入图片描述
进入配置文件
vi spark-env.sh
shift+G跳到最后一行
增加配置

export JAVA_HOME=/opt/module/jdk1.8.0_144
export SPARK_MASTER_HOST=bigdata2
export SPARK_MASTER_PORT=7077

最低0.47元/天 解锁文章
默默谦行
关注
专栏目录
spark完全分布式部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-30 3403
本实验任务主要完成基于ubuntu环境的Spark完全分布式部署、配置和调试工作。通过完成本实验任务，要求学生熟练掌握Spark完全分布式部署方法，为后续实验的开展奠定Spark平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。掌握Spark完全分布式环境的部署本次环境是：Ubuntu16.04spark有以下几种安装模式，每种安装模式都有自己不同的优点和长处。   local(本地模式)： 常用于本地开发测试，本地还分为local单线程和local-cluster多
spark集群搭建（完全分布式）
热门推荐
focuson_的博客
05-05 1万+
说明说明1、其余的见前几篇博客，本文基于之前安装的集群安装spark，安装的节点如下（标红的为本次安装）：机器 安装软件 进程 focuson1 zookeeper;hadoop namenode;hadoop DataNode;hbase master;hbase regionrerver;spark master;spark worker JournalNode; DataNode;...
Spark集群完全分布式安装部署
爱璇子爱生活
05-18 3964
Spark集群完全分布式安装部署 下载安装 配置Spark 1spark-envsh配置 2slaves配置 3profile配置 复制到其他节点 测试 总结Spark集群完全分布式安装部署本文中所提到的Spark集群所用的系统环境是Centos6.5，共4个节点，前提是Hadoop、JDK都已经安装配置好了，操作都是在hadoop用户下进行（要保证spark安装目录的所属是hadoop用户，权限也
Centos7搭建spark（3节点）
Yage的博客
04-11 677
集群环境 master:192.168.230.10 slave1:192.168.230.11 slave2:192.168.230.12 运行环境 spark:2.0.2 scala:2.11.4 安装scala 在/usr/local/src/scala目录下解压： tar zxvf scala-2.12.4.tgz 在~/.bashrc配置环境变量SCALA_HOME SCALA_HOM...
spark 集群搭建*（3节点）
xrl001的博客
09-15 533
spark环境安装 一． 下载安装 下载地址：http://spark.apache.org/downloads.html Standalone模式的spark集群虽然不依赖于yarn，但是数据文件存在hdfs，所以需要hdfs集群启动成功 这里下载包也要根据hadoop集群版本启动 比如hadoop2.5.2需要下载spark-1.4.0-bin-hadoop2.4.tgz
Linux 下伪分布式安装spark
SmatrStone的博客
02-26 398
首先要安装Scala, 然后再装spark 链接：https://pan.baidu.com/s/1ztL8u7tjm7t6Gm2yg-gWig 提取码：km7m 这里面是scala2.11.8和spark2.2.3 然而Scala又是在java虚拟环境下运行的,没装jvm的得先装 1.下载解压然后放到指定位置,打开gedit ~/.bashrc文件, 加路径进去 export SCALA_HO...
搭建Spark伪分布式环境
snow703323的博客
06-16 707
测试能否ping通百度 - 测试能否ping通百度 - 测试能否ping通百度 - 查看主机映射配置文件 查看主机映射配置文件 查看主机映射配置文件 五）关闭与禁用防火墙 1、了解相关命令 （1）关闭防火墙命令 systemctl stop firewalld （2）禁用防火墙命令 systemctl disable firewalld （3）查看防火墙状态 systemctl status firewalld 2、关闭与禁用防火墙 （1）关闭与禁用master虚拟机防火墙 关闭防火墙
Spark完全分布式搭建
qq_50835159的博客
06-08 2645
Spark完全分布式搭建教程(Standalone:Master+Slave） 分析: 1.配置好IP 2.修改主机名 3.做好IP主机映射 4.关闭防火墙 5.安装Java 6.安装Hadoop(完全分布式) 7.安装scala 8.配置SSH免密登入 9.集群配置 1.配置IP
spark完全分布式环境搭建.pdf
10-22
本文档主要讲述了如何在 Linux 环境下搭建 Spark 完全分布式环境，包括环境变量的设置、Spark 配置文件的修改、 Slave 节点的配置以及集群的启动过程。 一、环境变量设置 在搭建 Spark 分布式环境之前，需要设置...
Spark 伪分布式安装
weixin_42581666的博客
05-19 176
下载安装文件 wget http://ftp.cuhk.edu.hk/pub/packages/apache.org/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz 解压文件 tar -xzvf spark-2.3.1-bin-hadoop2.7.tgztar -xzvf cdh5.15.0-release mv spark-2.3.1-bin-hadoop2.7 /etc/spark 进入spark配置目录 cd /etc/spark/con
centos7三个节点的 spark集群搭建
赴前尘
08-30 1305
一.前期准备： 三台centos7虚拟机hadoop01,hadoop02,hadoop03(已成功完成hadoop集群搭建)，xshell,xftp,spark安装包（https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz） 说明：以下全部使用root用户进行操作 二.针对h...
hsdoop单节点，伪分布式，完全分布式的搭建及测试
weixin_43273168的博客
05-21 416
实验环境：红帽7.3 linux系统 hadoop单节点测试 不建议用超户来做该实验，实验前先建立hadoop用户 [root@hadoop1 ~]# useradd hadoop [root@hadoop1 ~]# id hadoop uid=1000(hadoop) gid=1000(hadoop) groups=1000(hadoop) [root@hadoop1 ~]# passwd...
Spark学习之路 （五）Spark伪分布式安装
微信搜：import_bigdata，大数据领域硬核原创作者
02-12 494
《2021年最新版大数据面试题全面开启更新》 欢迎关注github《大数据成神之路》 目录 一、JDK的安装 1.1　上传安装包并解压 1.2　配置环境变量 1.3　验证Java版本 二、配置配置ssh localhost 2.1　检测 2.2　生成私钥和公钥秘钥对 2.3　将公钥添加到authorized_keys 2.4　赋予authorized_keys文件600的权限 2.5　修改Linux映射文件(root用户) 2.6　验证 三、安装Hadoop-2.7.5 3.1　上传解压缩 3.2　.
spark环境搭建，伪分布式、集群
哈哈的博客
06-02 494
spark集群环境搭建，整理中
伪分布式+分布式安装Hadoop（两个节点）
qq_30693057的博客
04-12 1204
准备一个新的Linux系统，我这里从之前安装安装好的Linux中克隆一个 更改新系统的设备参数设置，参考本地硬件设置合理参数 启动Linux，更改主机名为master [zhao@localhost ~]$ su #切换至root用户下 [root@localhost zhao]# vim /etc/hostname #修改主机名 [root@localhost zh...
Spark2.0.1伪分布式安装配置
Santiago
01-11 8309
前言.Spark简介和hadoop的区别 Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。 1.架构不同。 Hadoop是对大数据集进行分布式计算的标准工具。提供了包括工具和技巧在内的丰富的生态系统，允许使用相对便宜的商业硬件集群进行超级计算机级别的计算。 Spa
Spark的伪分布式与完全分布式
10-02 636
伪分布式配置 spark-env.sh 配置 slaves 配置如下 网页查看 http://bigdata121:8080/ 结果如下 spark 的 bin 目录下 ./spark-shell -- master spark://bigdata121:7077 完全分布式配置如下 step1、修改vi slaves...
大数据(三)---------搭建Hadoop伪分布式和完全分布式集群
好好挣钱，使劲吃饭
06-12 578
伪分布式： 只需要一个虚拟机，所有节点都在该虚拟机上 1.首先，需要安装JDK，将上传的jdk解压 tar -zxvf jdk压缩包 2.配置环境变量，位置：/etc/profile export JAVA_HOME=/opt/software/jdk1.8.0_121 export PATH=$PATH:$JAVA_HOME/bin 注：两个地方都能配置 用户变量 .b...
完全分布式搭建指南：Hadoop2.8与Spark2.1
在搭建Hadoop和Spark的完全分布式环境时，首先确保你拥有所有必要的组件。VMware是一个虚拟机软件，用来创建和管理虚拟机。对于初学者或测试环境，推荐使用VMware Player 10.0或更高版本，可以通过官方网站下载并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值