搭建Spark Standalone集群

最新推荐文章于 2024-08-12 23:51:20 发布
最新推荐文章于 2024-08-12 23:51:20 发布
阅读量547 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45793065/article/details/107310434
版权

文章目录

搭建Spark Standalone集群
步骤1: 实验环境准备测试 (三台机都执行)
1、准备三台虚拟机server1,server2,server3
  • 三台1核2G的主机
server1 192.168.100.101
server2 192,168.100.102
server3 192.168.100.103
  • 三台主机都已经安装JDK，并在~/.bashrc配置了环境变量
  • 三台主机配置好SSH免密码登录
2、修改主机名和IP地址
hostnamectl set-hostname 主机名
exit
回车

hostnamectl set-hostname server1
hostnamectl set-hostname server2
hostnamectl set-hostname server3

查看网卡

ip a

vi /etc/sysconfig/network-scripts/ifcfg-网卡名

vi /etc/sysconfig/network-scripts/ifcfg-ens33
dhcp  static  #静态网络
no  yes
IPADDR=192.168.100.10  #IP地址 server2 192.168.100.102  server3 192.168.100.103
NETMASK=255.255.255.0
GATEWAY=192.168.100.2
DNS1=8.8.8.8

esc  :x  保存退出

在这里插入图片描述

重启网卡

systemctl restart network
3、修改/etc/hosts文件

ifconfig查看IP，修改/etc/hosts文件的中的主机ip地址为最新ip地址。记得替换ip1/2/3。并拷贝到 server1,server2

查看IP

ifconfig

修改/etc/host

vi /etc/hosts
ip1 server1
ip2 server2
ip3 server3

在这里插入图片描述

拷贝

scp -r /etc/hosts server2:/etc/hosts
scp -r /etc/hosts server3:/etc/hosts

在这里插入图片描述

4、验证免密码登录

验证环境的正确性,在server1中用以下命令验证能免密码登录到server2和server3。同理分别登录server2和server3，测试能免密码登录到server1,server2,server3。

ssh server1
exit
ssh server2
exit
ssh server3
exit

在这里插入图片描述

5、测试JDK环境
java -version

在这里插入图片描述

步骤2：下载并解压Spark程序包（server1,server2,server3)
1、创建文件夹
mkdir -p  /local/package
mkdir -p /local/software

在这里插入图片描述

2、下载spark-2.4.5-bin-hadoop2.7.tgz
cd /local/package
wget https://mirror.bit.edu.cn/apache/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz

在这里插入图片描述

3、解压到/local/software,改名为spark
 tar -xzvf spark-2.4.5-bin-hadoop2.7.tgz  -C /local/software
 mv spark-2.4.5-bin-hadoop2.7 spark

在这里插入图片描述

步骤3：配置Spark(master)
1、修改spark-env.sh

1)进入spark程序包的配置目录，复制Spark配置文件模板spark-env.sh.template到spark-env.sh作为配置文件。

cd /local/software/spark/conf
cp spark-env.sh.template spark-env.sh

在这里插入图片描述

2)打开spark-env.sh 修改

vi spark-env.sh

添加

SPARK_MASTER_HOST="server1"
SPARK_MASTER_PORT="7077"
SPARK_WORKER_CORES="1"

在这里插入图片描述

3、修改slaves

1)复制Spark的slave模板配置文件slaves.template到slaves作为配置文件

cd /local/software/spark/conf
cp slaves.template slaves

在这里插入图片描述

2)打开slaves，修改

vi slaves

localhost
改为：
server1
server2
server3

在这里插入图片描述

4、将master的spark 复制到server2,server3
scp -r /local/software/spark/conf  server2:/local/software/conf
scp -r /local/software/spark/conf  server3:/local/software/conf

在这里插入图片描述

步骤3：启动Spark并验证启动成功
1、在Spark程序包目录运行如下命令并启动Spark
cd /local/software/spark
./sbin/start-all.sh

结果

在这里插入图片描述

2、jps查看server1,server2,server3
jps

在这里插入图片描述

3、浏览器访问Spark
http://server1:8080/

在这里插入图片描述

步骤4：运行SparkPi案例
1、进入Spark程序目录
cd /local/software/spark
2、在终端上运行如下命令来测试SparkPi样例
./bin/run-example --master spark://server1:7077 SparkPi
3、运行中，快速打开Spark信息页面可以看到如下内容：
server1:8080

在这里插入图片描述

从图中可以看到，当前的cpu和内存都已经被利用起来

4、在终端输出中可以找到运行的最终结果

在这里插入图片描述

5、关闭spark
cd /local/software/spark
./sbin/stop-all.sh

在这里插入图片描述

San**
关注
Spark集群环境搭建（standalone模式）
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 4676
大数据实验教学系统Spark集群环境搭建（standalone模式）spark有以下几种运行模式，每种运行模式都有自己不同的优点和长处。安装和配置Spark环境（standalone模式）   掌握Spark集群的启动和关闭。1、在master主节点上安装和配置Spark环境   2、将配置好的Spark文件夹拷贝到三个worker节点上   3、掌握Spark集群的启动和关闭   4、测试Spark集群安装是否成功。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2
Spark环境搭建——standalone集群模式
01-07
这篇博客，Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。 文章目录集群角色介绍集群规划修改配置并分发启动和停止查看web界面测试 集群角色介绍         Spark是基于内存计算的大数据并行计算框架，实际中运行计算任务肯定是使用集群模式，那么我们先来学习Spark自带的standalone集群模式了解一下它的架构及运行机制。         Standalone集群使用了分布式计算中的master-slave模型         master是集群中含有master进程的节点         slave是集群中的worker节点含有Executor
大数据Spark Standalone集群
赵广陆
05-04 479
目录1 Standalone 架构2 配置、部署及启动2.1 解压、环境变量2.2 Workers主机名称2.3 配置Master、Workers、HistoryServer2.4 创建EventLogs存储目录2.5 配置Spark应用保存EventLogs2.6 设置日志级别2.7 分发到集群所有机器2.8 启动服务进程2.9 提交运行圆周率3 Spark 应用架构4 WEB UI 监控5 Standalone HA5.1 高可用HA5.2 基于Zookeeper实现HA5.3 测试运行 1 Stan
【Spark集群部署系列二】Spark StandAlone模式介绍和搭建以及使用
最新发布
qq_65231448的博客
08-12 1251
【Spark集群部署系列一】Spark local模式介绍和搭建以及使用（内含Linux安装Anaconda)http://t.csdnimg.cn/0xmky 在部署spark集群前，请部署好Hadoop集群，jdk8【当然Hadoop集群需要运行在jdk上】，需要注意hadoop，spark的版本，考虑兼容问题。比如hadoop3.0以上的才兼容spark3.0以上的。 下面是Hadoop集群部署的链接，个人笔记，已经成功部署两次了，实时更新，分【一】【二】两部分，需要的自己看。不懂欢迎问，看到了解答。
Spark Standalone独立集群模式搭建
weixin_44442434的博客
06-29 314
Standalone（独立集群模式） 原理： 操作： 1.集群规划 node1：master node2：worker/slave node3：worker/slave 2.修改slaves 进入配置目录：spark中的conf目录中 修改配置文件名称：mv workers.template workers 修改配置文件内容： vim slaves node2 node3 3.修改spark-env.sh 进入配置目录：spark中的conf 修改配置文件名称：mv.
Spark 集群搭建从零开始之3 Spark Standalone集群安装、配置与测试
陈杰
09-19 1028
1、进入pc1的Spark的conf目录，创建或者修改spark-env.sh export JAVA_HOME=/usr/lib/jvm/java-8-oracle export SCALA_HOME=/chenjie/scala-2.10.4 export HADOOP_HOME=/chenjie/hadoop-2.6.5 export HADOOP_CONF_DIR=/chenjie
Spark Standalone模式搭建
Carroll的学习博客
12-07 2845
Spark三种模式 local on yarn standalone spark的local模式不多做说明，on yarn模式就是将资源管理交给hadoop的yarn，自己本身只做计算与任务调度。而standalone则是自己本身成为一套系统，有自己的资源管理与调度器。 本篇博客主要讲述在虚拟机中搭建spark 集群（standalone），其主要采用Master/Slave(Worker)结构.
Spark基础学习笔记05：搭建Spark Standalone集群
lwmzl00的博客
06-17 1110
文章目录 零、本讲学习目标 搭建Spark Standalone模式的集群 能够启动Spark Standalone模式的集群 学会Spark应用程序的提交 Spark的两种集群运行模式：Spark Standalone模式和Spark On YARN模式。Standalone模式需要启动Spark集群，而Spark On YARN模式不需要启动Spark集群，只需要启动YARN集群即可。先来搭建Spark Standalone模式的集群。一、Spark Standalone架构 Spark Standal
搭建Spark Standalone模式的集群
snow703323的博客
06-14 409
一、执行命令：vi /etc/resolv.conf，修改/etc/resolv.con 添加两个域名服务器 存盘退出 执行命令：yum -y install vim 二、测试master能否访问外网 三、登陆slave1，执行命令：vi /etc/resolv.conf，添加域名解析服务器 存盘退出后，执行命令：yum - install vim，安装vim编辑器 四、登陆slave2与slave1一样操作 （三）查看三台虚拟机主机名 ......
Spark基础学习笔记05：搭建Spark Standalone模式的集群
f54268589的博客
06-07 472
Spark基础学习笔记05：搭建Spark Standalone模式的集群
Spark StandAlone 集群搭建
zhixingheyi_tian的博客
04-10 231
启动master节点 ./sbin/start-master.sh 登陆到UI http://10.239.10.11:8080/
Spark Standalone集群架构
htfenght的博客
01-10 383
Spark Standalone集群架构 SparkStandalone集群 集群管理器，cluster manager：Master进程，工作节点：Worker进程 搭建了一套Hadoop集群（HDFS+YARN） HDFS：NameNode、DataNode、SecondaryNameNode YARN：ResourceManager、NodeManager Spark集群（Spark St...
Spark Standalone环境搭建
weixin_44936816的博客
06-11 878
Spark Standalone 环境搭建
详解 Spark 的 Standalone 集群
初阳
11-15 768
在一台机器上本地运行是很容易的，只需要在系统路径上安装Java，或者JAVA_HOHE环境变量指向Java安装 可以通过scala shell的修改版本以交互方式运行spark。这是学习框架的好方法。 ./bin/spark-shell --master local[2] --master选项指定分布式集群的主URL，或local以一个线程本地运行，或local[N]以n个线程本地运行。要...
Spark环境搭建之Standalone独立集群
大数据跟我学i
03-10 206
文章目录原理操作测试1.集群启动和停止2.jps查看进程3.http://node01:8080/4.启动spark-shell5.提交WordCount任务6.查看结果7.查看spark任务web-ui 原理 操作 集群规划 node01:master ndoe02:worker/slave 配置slaves/workers 进入配置目录： cd /export/servers/spark/conf 修改配置文件名称： mv slaves.template slaves vim slaves
配置Spark Standalone集群
m0_65838036的博客
06-17 338
在master虚拟机上安装配置Spark
spark standalone集群搭建
03-16
Spark Standalone集群搭建步骤如下： 1. 安装Java环境和Spark软件包； 2. 配置Spark的环境变量； 3. 配置Spark的主节点和从节点； 4. 启动Spark集群； 5. 验证Spark集群是否正常工作。 具体步骤可以参考Spark官方文档或者相关教程。在搭建过程中，需要注意配置文件的正确性和网络连接的稳定性，以确保集群的正常运行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值