CentOS7环境下Spark集群的配置

最新推荐文章于 2022-06-07 09:23:24 发布
最新推荐文章于 2022-06-07 09:23:24 发布
阅读量1.1k 收藏 3
点赞数
分类专栏： Spark Hadoop 大数据 Linux 安装 文章标签： spark hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wxfghy/article/details/80887350
版权

1. 解压缩到/home/hadoop/

  1. spark-2.2.0
  2. scala-2.11.7

2. 配置环境变量/etc/profile

  1. 为避免与hadoop默认启动命令同名,spark/sbin中的start-all.sh和stop-all.sh分别改为start-spark-all.sh和stop-spark-all.sh
  2. scala写入bin
  3. spark写入bin和sbin

3. 修改spark配置文件 spark-env.sh

  1. 由模板spark-env.sh.template改名而来
  2. 文件尾行写入以下配置参数
export JAVA_HOME=/usr/java/jdk1.8.0_144
export SCALA_HOME=/home/hadoop/scala-2.11.7
export HADOOP_HOME=/home/hadoop/hadoop-2.9.0
export HADOOP_CONF_DIR=/home/hadoop/hadoop-
最低0.47元/天 解锁文章
翱翔的江鸟
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark集群环境配置
xingchenhy的博客
06-28 526
项目中实现的spark集群环境配置： 一、当前环境 1. 服务器IP:192.168.101.41 ～46    用户名：root      密码：zcah%2016 2. 服务器环境：CentOS 7.2 二、软件准备 1. spark-1.6.1-bin-hadoop2.6.tgz 2. jdk-8u91-linux-x64.tar.gz 三、JDK安装 解压jd
Linux（centos7）部署spark
最新发布
LLMUZI123456789的博客
04-03 689
Spark部署模式主要有4种：Local模式（单机模式）、Standalone模式（使用Spark自带的简单集群管理器）、Spark On Yarn模式（使用YARN作为集群管理器）和Spark On Mesos模式（使用Mesos作为集群管理器）。下面介绍Local模式（单机模式）、跟Spark On Yarn模式（使用YARN作为集群管理器）的简单部署。spark on local模式以及spark on yarn模式部署完成。选择想要安装的版本下载，然后通过Linux客户端Xshell等上传到主机。
【Spark】环境搭建（CentOS7）
weixin_34343000的博客
09-15 161
1. 首先要安装java8，参考 【Linux】Linux服务器（centos7）环境搭建java/python3/nginx 2. 然后安装scala 首先下载scala， 解压，然后 vim /etc/profile 在文件末尾添加， 把路径换成自己的解压路径 export PATH=$PATH:/usr/local/scala-2.1...
基于Centos7的Spark分布式集群搭建
weixin_40595394的博客
04-14 351
1. 准备工作 在搭建Spark分布式集群环境之前，先要完成Hadoop分布式集群环境的搭建。 Hadoop分布式集群环境构建https://blog.csdn.net/weixin_40595394/article/details/105410543 2. 安装Spark Spark安装包：https://pan.baidu.com/s/1vGn6KcKAYTKu9P6YcFpajg 提取码：k...
Centos7下Spark集群搭建
Melioudas
05-29 784
最近在研究大数据，打算抛弃Hadoop直接使用mongo充当hdfs使用处理小规模的数据，也不知道行不行，苦于没找到详细的Spark安装集群的方法，所以总结了一下，希望能帮助更多的兄弟！ 一、集群ssh免密登录配置 我准备了三台机器采用一主两从的配置 master 192.168.80.129 node1 192.168.80.130 node2 192.168.80.130 需求：master免...
CentOS7安装spark2.0集群
YuZongTao
06-15 1334
1、虚拟机运行环境：             JDK： jdk1.8.0_171 64位             Scala：scala-2.12.6            Spark：spark-2.3.1-bin-hadoop2.72、集群网络环境:    使用winscp工具上传jdk、scala、spark安装包到master主机/opt下新建的对应文件夹下 1）安装jdk解压scala安...
centOS7下Spark安装配置教程详解
09-15
在本文中，我们将深入探讨如何在CentOS7操作系统上安装和配置Apache Spark，这是一个流行的分布式计算框架。首先，我们需要确保我们的环境满足Spark的运行需求，包括Java Development Kit (JDK) 和Scala的安装。 1....
Vmware的Centos7中的Spark虚拟机配置
09-16
在Vmware的Centos7环境中配置Spark虚拟机涉及到多个步骤，包括系统设置、免密登录、Java环境配置、Hadoop的安装与配置以及Yarn的设置。以下是详细的知识点说明： 1. **系统设置**： - 修改主机名：使用`...
Spark集群及开发环境搭建（完整版）
04-09
Spark集群及开发环境搭建，适合初学者，一步一步并配有截图。 目录 一、 软件及下载 2 二、 集群环境信息 2 三、 机器安装 2 1. 安装虚拟机VirtualBox 2 2. 安装CentOs7 2 四、 基础环境搭建（hadoop用户下）...
centOS 6.10 hadoop+spark+hive+HBase集群搭建
07-31
hadoop+spark+hive Linux centos大数据集群搭建，简单易懂，从0到1搭建大数据集群
CentOS 7.5 部署 Hbase + Spark 集群.pdf
03-08
CentOS 7.5 自动部署分布式计算集群 一，虚拟机环境准备 二，onestep 部署配置 。。。。。。。
Centos7 搭建单机Spark分布式集群
Yeats_Liao的博客
11-17 1346
Centos7 搭建单机Spark分布式集群
centos7 搭建spark单机环境
lhever_的博客
01-09 1594
安装spark（单机环境） cd /soft tar -zxvf spark-2.2.1-bin-hadoop2.7.tgz -C /usr/local/ /usr/local/spark-2.2.1-bin-hadoop2.7 环境变量： echo "export SPARK_HOME=/usr/local/spark-2.2.1-bin-hadoop2.7" >> /etc/profil
centos7搭建spark集群环境笔记
lhever_的博客
02-12 926
安装spark（集群环境, 貌似spark的master节点必须与hadoop的master节点一致） cd /soft tar -zxvf spark-2.2.1-bin-hadoop2.7.tgz -C /usr/local/ cd /usr/local/spark-2.2.1-bin-hadoop2.7 环...
centos7安装配置spark
sinat_33436087的博客
12-06 358
步骤一：安装spark 1.下载spark安装包 wget http://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.6.tgz 2.解压并安装 mv spark-2.1.0-bin-hadoop2.6 ../spark2.1 3.配置环境变量 vi /etc/profile #在末尾加入如下两条语句 export SPARK_H...
分布式集群环境之Spark的安装与配置（Centos7）
邵奈一的博客
04-29 2531
教程目录0x00 教程内容0x01 Spark的获取1. 官网下载2. 关注公众号：邵奈一0x02 上传Spark安装包到集群1. 上传安装包到虚拟机0x03 安装与配置Spark1. 解压Spark包并配置2. 同步到slave1、slave23. 配置环境变量4. 启动Spark0x04 Spark初体验1. 启动spark-shell0xFF 总结 0x00 教程内容 Spark的获取 上...
1.Spark Centos7环境安装
.
06-07 1007
spark 安装
Spark介绍与安装详解（Centos7）
EnjoyToShare | 资源分享平台
07-27 950
Spark： （1）是一个高速的可扩充的处理海量数据的引擎 （2）使用scala开发 （3）提供spark shell 供开发人员学习或者处理数据 （4）可以使用python，java，R，scala语言开发spark应用程序，用于海量数据处理 （5）Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer快40倍左右。 （6）Spark是hadoop的升级...
Spark<集群搭建Centos7.3+Spark2.1.1>
Gpwner的博客
06-11 1564
本集群搭建依赖于：VMware Workstation12 ProSecureCRT 7.3Xftp 5CentOS-7-x86_64-Everything-1611.isohadoop-2.8.0.tar.gzjdk-8u121-linux-x64.tar.gzspark-2.1.1-bin-hadoop2.7.tgz有关虚拟机和Hadoop的安装点击这里 IP role 172.17.
centos7配置spark集群
09-13
要在CentOS 7上配置Spark集群，您可以按照以下步骤进行操作： 步骤1：安装Java 首先，您需要在所有节点上安装Java。您可以使用以下命令安装OpenJDK 8： ``` sudo yum install java-1.8.0-openjdk-devel ``` 步骤2：设置主节点 选择一个节点作为主节点，并在其中执行以下操作： 1. 下载Spark二进制文件包： ``` wget https://www.apache.org/dyn/closer.lua/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz ``` 2. 解压文件： ``` tar xzf spark-3.1.2-bin-hadoop3.2.tgz ``` 3. 将Spark移动到适当的位置： ``` sudo mv spark-3.1.2-bin-hadoop3.2 /usr/local/spark ``` 4. 配置环境变量： 编辑`~/.bashrc`文件并添加以下行： ``` export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin export PYSPARK_PYTHON=python3 ``` 5. 使配置生效： ``` source ~/.bashrc ``` 步骤3：配置从节点 对于所有其他节点，请按照以下步骤进行操作： 1. 安装Java（如果尚未安装）： ``` sudo yum install java-1.8.0-openjdk-devel ``` 2. 下载Spark二进制文件包（与主节点相同）： ``` wget https://www.apache.org/dyn/closer.lua/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz ``` 3. 解压文件： ``` tar xzf spark-3.1.2-bin-hadoop3.2.tgz ``` 4. 将Spark移动到适当的位置： ``` sudo mv spark-3.1.2-bin-hadoop3.2 /usr/local/spark ``` 5. 配置环境变量（与主节点相同）。 步骤4：配置Spark集群 要配置Spark集群，请按照以下步骤进行操作： 1. 在主节点上，编辑`/usr/local/spark/conf/spark-env.sh`文件： ``` sudo vi /usr/local/spark/conf/spark-env.sh ``` 添加以下内容： ``` export SPARK_MASTER_HOST=<主节点的IP地址> export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk export HADOOP_CONF_DIR=/etc/hadoop ``` 2. 在每个从节点上，编辑`/usr/local/spark/conf/spark-env.sh`文件： 将以下内容添加到文件末尾： ``` export SPARK_WORKER_MEMORY=1g export SPARK_WORKER_CORES=2 export SPARK_WORKER_INSTANCES=1 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk export HADOOP_CONF_DIR=/etc/hadoop ``` 步骤5：启动Spark集群 1. 在主节点上，启动Spark主节点： ``` /usr/local/spark/sbin/start-master.sh ``` 2. 在每个从节点上，启动Spark从节点： ``` /usr/local/spark/sbin/start-worker.sh <主节点的IP地址>:7077 ``` 现在您已经成功配置了Spark集群。您可以使用Spark的Web界面（通常在`http://<主节点的IP地址>:8080`上）来监视和管理集群。您还可以通过提交Spark应用程序来运行作业。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值