Spark（三）安装部署Spark

最新推荐文章于 2024-08-20 00:30:00 发布
最新推荐文章于 2024-08-20 00:30:00 发布
阅读量542 收藏 2
点赞数 1
分类专栏： spark 大数据专栏（一）Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Suubyy/article/details/80852789
版权

  1. Standalone模式（独立部署模式）：无需第三方群集管理器即可快速启动独立群集

    1. 安装Java8，并且配置环境变量
    2. 准备三台虚拟机 Spark001（192.168.1.127），Spark002（192.168.1.128），Spark003（192.168.1.129）。我用的是Centos7虚拟机

    3. 配置主机名，配置本机主机名与IP映射，分别在三台主机上配置其他两台的主机与名IP映射

      1. Spark001（192.168.1.127）:

        1. 配置主机名：设置虚拟机名，编辑etc目录下的hostname文件，运行命令：vi /etc/hostname

          [root@spark001 ~]# vi /etc/hostname
spark001

        2. 配置主机名与IP的映射以及与其他两台机器的主机名与IP映射：编辑etc下的hosts文件，运行命令：vi /etc/hosts，将自己和其他两台机器的主机名与IP映射添加进去。

          [root@spark001 ~]# vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.127 spark001
192.168.1.128 spark002
192.168.1.129 spark003

      2. Spark002（192.168.1.128）:

        1. 配置主机名：设置虚拟机名，编辑etc目录下的hostname文件，运行命令：vi /etc/hostname

          [root@spark001 ~]# vi /etc/hostname
spark002

        2. 配置主机名与IP的映射以及与其他两台机器的主机名与IP映射：编辑etc下的hosts文件，运行命令：vi /etc/hosts，将自己和其他两台机器的主机名与IP映射添加进去。

          [root@spark002 ~]# vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.127 spark001
192.168.1.128 spark002
192.168.1.129 spark003

      3. Spark003（192.168.1.129）:

        1. 配置主机名：设置虚拟机名，编辑etc目录下的hostname文件，运行命令：vi /etc/hostname

          [root@spark001 ~]# vi /etc/hostname
spark003

        2. 配置主机名与IP的映射以及与其他两台机器的主机名与IP映射：编辑etc下的hosts文件，运行命令：vi /etc/hosts，将自己和其他两台机器的主机名与IP映射添加进去。

          [root@spark003 ~]# vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.127 spark001
192.168.1.128 spark002
192.168.1.129 spark003

    4. 配置三台机器SSH免密码登录：

      1. 分别在三台机器上执行命令，执行结束以后在.ssh目录下会生成公钥和私钥文件，下边以spark001为例：

        [root@spark001 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
2d:c5:7e:81:d9:e4:c7:45:74:5a:0c:fe:30:02:91:2f root@spark001
The key's randomart image is:
+--[ RSA 2048]----+
|          oo. .=*|
|         ..B o +o|
|          =.= B  |
|         +E .+ + |
|        S o..   .|
|         . .     |
|                 |
|                 |
|                 |
+-----------------+
[root@spark001 ~]# 
        [root@spark001 .ssh]# ll
-rw------- 1 root root 1675 6月  29 11:19 id_rsa
-rw-r--r-- 1 root root  395 6月  29 11:19 id_rsa.pub
-rw-r--r-- 1 root root 1580 6月  29 11:13 known_hosts
      2. 分别在三台机器分别上运行命令,并提示输入密码，这样就会把自己的公钥追加到对方的authorized_keys文件中，就可以免密码登录了：
        1. Spark001（192.168.1.127）:
          1. ssh-copy-id root@spark002
          2. ssh-copy-id root@spark003
        2. Spark002（192.168.1.128）
          1. ssh-copy-id root@spark001
          2. ssh-copy-id root@spark003
        3. Spark003（192.168.1.129）
          1. ssh-copy-id root@spark001
          2. ssh-copy-id root@spark002

      3. 安装Spark集群：

        1. 解压我们编译好的spark
        2. 配置spark环境变量

        3. 配置spark001上的${SPARK_HOME}/conf/spark-env.sh，添加如下配置

          export JAVA_HOME=/usr/java/jdk1.8.0_131#指定JAVA_HOME位置
export SPARK_MASTER_IP=spark001#指定spark老大Master的IP
          spark-env.sh里环境变量名称spark-env.sh里环境变量含义
          SPARK_MASTER_HOST将主服务器绑定到特定的主机名或IP地址，例如公共主机名或IP地址。
          SPARK_MASTER_PORT在不同的端口上启动主设备（默认：7077）。
          SPARK_MASTER_WEBUI_PORT主Web UI的端口（默认值：8080）。
          SPARK_MASTER_OPTS仅以“-Dx = y”形式应用于主服务器的配置属性（默认值：无）。请参阅下面的可能选项列表。
          SPARK_LOCAL_DIRS用于Spark中“临时”空间的目录，包括存储在磁盘上的映射输出文件和RDD。这应该位于系统中的快速本地磁盘上。它也可以是不同磁盘上多个目录的逗号分隔列表。
          SPARK_WORKER_CORES允许Spark应用程序在计算机上使用的核心总数（默认值：所有可用核心）。
          SPARK_WORKER_MEMORY的存储器总量以允许火花应用程序在计算机上，例如使用1000m，2g（默认值：总内存减去1 GB）; 请注意，每个应用程序的单独内存均使用其spark.executor.memory属性进行配置。
          SPARK_WORKER_PORT在特定端口上启动Spark worker（默认值：random）。
          SPARK_WORKER_WEBUI_PORT工作者Web UI的端口（默认值：8081）。
          SPARK_WORKER_DIR用于运行应用程序的目录，其中包括日志和暂存空间（默认值：SPARK_HOME / work）。
          SPARK_WORKER_OPTS仅适用于“-Dx = y”形式的工作线程的配置属性（默认值：无）。请参阅下面的可能选项列表。
          SPARK_DAEMON_MEMORY要分配给Spark主服务器和工作服务器守护程序的内存（默认值：1g）。
          SPARK_DAEMON_JAVA_OPTSSpark master和worker守护进程的JVM选项以“-Dx = y”的形式（默认值：无）。
          SPARK_PUBLIC_DNSSpark主服务器和工作服务器的公有DNS名称（默认值：无）。

        4. 在spark001上配置${SPARK_HOME}/conf/slaves，添加如下配置

          spark001
spark002
spark003

        5. 将spark001上的spark远程复制到其他两台机器上

          scp -r spark-2.1.0-bin-2.6.0-cdh5.7.0 root@spark002:/opt/
scp -r spark-2.1.0-bin-2.6.0-cdh5.7.0 root@spark003:/opt/

        6. 在spark001上启动spark集群：在${SPARK_HOME}/sbin/目录下执行start-all.sh

        7. 利用命令行查看集群启动是否成功，分别在三台机器上运行jps命令，如果在spark001上出现了一个Master进程和一个Worker进程，在其他两台机器上分别出现了Woker进程，说明你启动成功了。
        8. 利用浏览器查看集群是否启动成功，在浏览器中直接访问http://192.168.1.127:8080/，出现的页面如下说明启动成功了
          这里写图片描述

  2. Yarn模式：在Hadoop NextGen（YARN）之上部署Spark。该部署方式不需要部署任何有关Spark有关环境，它只依赖于Hadoop Yarn。原理就是依赖于Yarn来调度Spark。

    1. 编译好的Spark源码，编译的时候一定要指定Yarn依赖
    2. 已部署好的Hadoop环境
    3. 解压编译好的Spark
    4. 将${HADOOP_HOME}/etc/hadoop目录拷贝到${SPARK_HOME}/conf/下

    5. 配置${SPARK_HOME}/conf/spark-env.sh，添加如下配置

      HADOOP_CONF_DIR=/opt/spark-2.1.0-bin-2.6.0-cdh5.7.0/conf/hadoop //具体目录可根据自己的实际目录自行修改

    6. 补充：配置到这里，Spark就可以跑在YARN上了，也没必要启动spark的master和slaves服务，因为是靠yarn进行任务调度，所以直接提交任务即可。有些关于Spark on YARN部署的博客，实际上介绍的是Spark的 standalone运行模式。如果启动Spark的master和worker服务，这是Spark的 standalone运行模式，不是Spark on YARN运行模式，请不要混淆。

666呀
关注
专栏目录
Spark 3 分布式集群的安装部署和大数据处理
ByteHackerX的博客
09-02 226
首先，访问 Spark 官方网站（https://spark.apache.org/）下载 Spark 3 的最新稳定版本。在本文中，我们将详细介绍如何安装和部署 Spark 3 分布式集群，以及如何使用 Spark 进行大数据处理。创建一个新的 Scala 或 Python 文件，并编写 Spark 应用程序。或者，如果您使用 Python 编写的应用程序，可以直接运行脚本文件。替换为您的应用程序 JAR 文件的路径。替换为 Spark 主节点的 URL，替换为 Spark 主节点的端口号。
Spark实验：Standalone模式安装部署（带答案）1
08-03
以下是安装部署Spark Standalone模式的详细步骤和相关知识点。 **一、实验描述与环境** 1. 实验描述：本实验旨在搭建一个基于Standalone模式的Spark集群，包括解压安装包、配置环境变量、启动集群及验证安装效果。...
spark3.3.0安装&部署过程
m0_61022929的博客
08-18 5392
spark安装&部署过程
Spark3 入门指南（一）
最新发布
龙哥盟
08-20 846
没有比现在更好的学习 Apache Spark 的时机了。由于其易用性、速度和灵活性，它已成为大数据堆栈中的关键组件之一。多年来，它已成为多种工作负载类型的统一引擎，如大数据处理、数据分析、数据科学和机器学习。许多行业的公司广泛采用这种可扩展的数据处理系统，包括脸书、微软、网飞和 LinkedIn。此外，它在每个主要版本中都得到了稳步的改进。Apache Spark 的最新版本是 3.0，于 2020 年 6 月发布，标志着 Spark 作为开源项目的十周年纪念。
安装spark3
11-04 112
配置环境变量cd sparkcd conf。
Spark3的详细安装步骤
qq_45263520的博客
04-26 4027
Spark的安装。Spark3.1.2的安装步骤。启动Spark集群。查看后台进程。查看Spark进程。通过Web界面访问Spark。验证Spark的安装是否成功。
Spark3.3集群安装部署
以茉萱的博客
12-17 1242
spark从1.0版本发布至今，已经更新到3.5版本，目前生态发展非常成熟，无论是kafka、hive、还是数据湖格式（hudi、iceberg、delta）都对spark有做兼容适配，提供的API也是非常之多，由于实时场景的增加，spark计算引擎已经逐步替代mapreduce引擎，成为离线批处理的首选，而且spark提供了非常多的算数转子用于处理复杂计算，并且这些转化操作都是惰性求值，不用像mapreduce那样每一步操作需指定落在哪里，在流式处理方面，随意structed streaming的推出，s
Spark实验：On Yarn模式安装部署（带答案）1
08-03
在这个实验中，我们将详细探讨如何在Yarn模式下安装和部署Spark集群。 首先，我们需要准备实验环境，这里包括三台虚拟机，操作系统为CentOS 7.5，Hadoop版本为2.7.3，Spark版本为2.1.1。这些版本的兼容性对于实验的...
spark三种模式部署安装（基于Anaconda3实现spark编程）
03-25
### Spark的三种部署模式与基于Anaconda3的Python编程实现 #### 一、Spark的部署模式 Apache Spark作为大数据处理领域的重要工具之一，其部署模式的选择对于应用性能有着至关重要的影响。Spark支持三种主要的部署...
spark集群安装部署与初步开发
09-12
### Spark集群安装部署与初步开发知识点详述 #### 一、Spark概述 - **定义**：Spark是一款基于内存计算的大数据并行计算框架，旨在提供高效的数据处理能力。 - **特性**： - **内存计算**：利用内存提高数据处理...
SparkR安装部署及数据分析实例
02-25
}1488次浏览 评价：好中差  1.SparkR的安装配置1.1.R与Rstudio的安装1.1.1.R的安装我们的工作环境都是在Ubuntu下操作的，所以只介绍Ubuntu下安装R的方法：1）在/etc/apt/sources.list添加源debhttp://...
spark-3.3.3-bin-hadoop3.tgz
10-19
该包是spark3.3.3版本，对应Hadoop3.x,按需取用，不收费
Spark 3.3.0安装
xiaokebiubiubiu的博客
12-05 2203
Spark 3.3.0安装
Spark-3.0.3 安装与配置
sybkl的博客
07-21 494
大数据计算引擎Spark的部署，包括Standalone模式和SparkOnYarn模式
[1032]spark-3.0安装和入门
周小董
07-25 1355
文章目录一.Windows安装1.安装2.使用二.Linux安装一般安装模式下载设置环境变量修改配置启动确认启动成功Local模式1.安装2.使用yarn模式1.安装2.使用3.spark的历史服务器集成yarn 在这之前已经在本地安装了hadoop和hive，参考大数据相关整理 spark官网下载：http://spark.apache.org/downloads.html 一.Windows安装 1.安装 将spark-3.0.0-bin-hadoop3.2.tgz解压到非中文目录 2.使用 bin/s
spark-3.3.2（Standalone）集群安装-大数据学习系列（三）
zhenwudi的专栏
05-16 1210
链接: https://pan.baidu.com/s/1-GAeyyDOPjhsWhIp_VV7yg?链接: https://pan.baidu.com/s/1y-yXZCQdmlssdMNMpFlqnw?切换到k8s-node1、k8s-node2 验证是否安装成功。01-spark（Standalone）集群安装。切换到k8s-node1机器上操作(分发环境)1.1 在集群（各机器上都执行！2.1切换到k8s-master执行。2.2切换到k8s-node1执行。切换到k8s-master执行。
spark3安装部署
kkk972的博客
04-26 1035
spark3安装部署 一、下载地址 https://archive.apache.org/dist/spark 二、将conf文件夹下的spark-env.sh.template重命名为spark-env.sh，并添加配置 export JAVA_HOME=/opt/jdk1.8.0_281 #不用master ha需添加 #export SPARK_MASTER_HOST=node03 export HADOOP_HOME=/home/hadoop/apps/hadoop-3.2.1 export HAD
spark3.x 集群部署
热门推荐
Cocktail_py的博客
11-04 1万+
一.zookeeper集群部署 # 配置hosts解析 cat > /etc/hosts <<EOF 10.8.40.222 spark01 10.8.111.220 spark02 10.8.69.253 spark03 EOF # 配置SSH免密，主备master节点对所有worker节点免密，需要在3个节点执行: ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ssh-copy-id spark01 ssh-copy-id spark02 ssh-
Spark3.X分布式集群部署
wangshui898的专栏
09-28 891
一、部署规划 hadoop高可用集群部署参考: Hadoop3.X分布式高可用集群部署 1.1 版本说明 软件 版本 操作系统 CentOS Linux release 7.8.2003 (Core) JAVA jdk-8u271-linux-x64 Hadoop hadoop-3.3.1 Scala Scala2.12.15 Spark spark-3.1.2-bin-hadoop3.2 1.2 集群规划 hostname IP 组件 maste
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值