Hadoop-3.2.0集群部署&Spark on yarn设置

最新推荐文章于 2022-11-28 17:23:34 发布
最新推荐文章于 2022-11-28 17:23:34 发布
阅读量2.4k 收藏 7
点赞数 3
分类专栏： Hadoop Spark 文章标签： hadoop spark big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44455388/article/details/120063139
版权
Spark 同时被 2 个专栏收录
40 篇文章 4 订阅
订阅专栏
Hadoop
11 篇文章 1 订阅
订阅专栏
服务器系统为CentOS7

集群环境准备

1、关闭防火墙
关闭防火墙
systemctl stop firewalld.service

查看防火墙状态
systemctl status firewalld.service

禁止firewall开机启动
systemctl disable firewalld.service
2、关闭selinux
vim /etc/selinux/config
SELINUX修改为disabled
3、更改主机名
hostnamectl set-hostname cdh01

参考：https://blog.51cto.com/qiangsh/1561160

4、主机名与IP地址的映射
vim /etc/hosts
192.168.1.183	cdh01
192.168.1.184	cdh02
192.168.1.185	cdh03
5、免密码登录

（1）所有机器执行ssh-keygen -t rsa，一直回车即可生成密钥；
（2）将所有机器的密钥拷贝到一台：ssh-copy-id -i cdh01得到认证文件authorized_keys
（3）复制第一台机器的认证文件到其他机器

scp /root/.ssh/authorized_keys cdh02:$PWD
6、保证所有机器的时间同步
ntpdate 0.asia.pool.ntp.org
7、确保服务器有Java环境

在这里插入图片描述

Hadoop部署

1、Hadoop部署包下载：
http://archive.apache.org/dist/hadoop/common/hadoop-3.2.0/
2、部署包上传并解压：

在这里插入图片描述

3、修改配置文件：

（1）修改core-site.xml文件

<configuration>
	<!-- hadoop默认访问nameNode元数据的路径 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://cdh02:8020</value>
	</property>
	<!-- hadoop的临时文件夹位置 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/home/bigdata/hadoop-3.2.0/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>
	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

（2）修改hadoop-env.sh文件

export JAVA_HOME=/usr/java/default

（3）修改hdfs-site.xml文件

<configuration>
	<!-- NameNode存储元数据信息的路径，一般先确定磁盘的挂载目录，然后多个目录用，进行分割 --> 
	<!--   集群动态上下线 
	       	<property>
		<name>dfs.hosts</name>
		<value>/home/bigdata/hadoop-3.2.0/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/home/bigdata/hadoop-3.2.0/etc/hadoop/deny_host</value>
	</property>
	 -->
	
	<!-- nameNode的访问路径和端口号 -->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>cdh02:50090</value>
	</property>
	<!-- nameNode的外部访问路径和端口号 -->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>cdh02:50070</value>
	</property>
	<!-- 配置nameNode的存放位置 -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///home/bigdata/hadoop-3.2.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///home/bigdata/hadoop-3.2.0/hadoopDatas/datanodeDatas</value>
	</property>
	<!-- edits的存储位置 -->
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///home/bigdata/hadoop-3.2.0/hadoopDatas/dfs/nn/edits</value>
	</property>
	<!-- 元数据信息检查点的存储位置 -->
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///home/bigdata/hadoop-3.2.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<!-- edits的检查点的存储位置 -->
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///home/bigdata/hadoop-3.2.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<!-- 副本数量 -->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<!-- hdfs的权限 -->
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
	<!-- hdfs存储的block大小, 128M -->
	<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

（4）修改mapred-site.xml文件

<configuration>
	<!-- 指定MapReduce运行在yarn集群上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<!-- 开启MapReduce的小任务模式 -->
	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	<!-- 配置jobhistory的访问路径和端口号, jobhistory是执行完成的任务日志 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>cdh02:10020</value>
	</property>
	<!-- 配置jobhistory的浏览器访问路径和端口号 -->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>cdh02:19888</value>
	</property>
</configuration>

（5）修改workers文件

cdh01
cdh02
cdh03

（6）修改yarn-site.xml文件

<configuration>
	<!-- 配置resourcemanager运行在哪台机器上 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>cdh02</value>
	</property>
	<!-- 配置nodemanager上运行的附属服务为shuffle -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<!-- 开启聚合日志 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<!-- 配置聚合日志的保持时长 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
	<property>
	    <name>yarn.log.server.url</name>
	    <value>http://cdh02:19888/jobhistory/logs</value>
	</property>
	<!--可使用的物理内存-->
	<property>
	  <name>yarn.nodemanager.resource.memory-mb</name>
	  <value>61440</value>
	</property>
	<!--RM上每个container请求的最小内存-->
	<property>
	  <name>yarn.scheduler.minimum-allocation-mb</name>
	  <value>1024</value>
	</property>
	<!--RM上每个container请求的最大内存-->
	<property>
	  <name>yarn.scheduler.maximum-allocation-mb</name>
	  <value>20480</value>
	</property>
	<!--可使用的VCore-->
	<property>
	  <name>yarn.nodemanager.resource.cpu-vcores</name>
	  <value>31</value>
	</property>
</configuration>
4、 创建数据存储的文件夹
mkdir -p /home/bigdata/hadoop-3.2.0/hadoopDatas/tempDatas
mkdir -p /home/bigdata/hadoop-3.2.0/hadoopDatas/namenodeDatas
mkdir -p /home/bigdata/hadoop-3.2.0/hadoopDatas/datanodeDatas 
mkdir -p /home/bigdata/hadoop-3.2.0/hadoopDatas/dfs/nn/edits
mkdir -p /home/bigdata/hadoop-3.2.0/hadoopDatas/dfs/snn/name
mkdir -p /home/bigdata/hadoop-3.2.0/hadoopDatas/dfs/nn/snn/edits

tempDatas 是hadoop临时文件存放位置
namenodeDatas 是namenode元数据存储位置
datanodeDatas 是datanode数据存储位置
dfs/nn/edits 是edites存储位置
dfs/snn/name 是元数据检查点的存储位置
dfs/nn/snn/edits 是edites检查点的存储位置

5、发送安装包到其他机器
scp -r hadoop-3.2.0/ node02:$PWD
scp -r hadoop-3.2.0/ node03:$PWD
6、配置hadoop的环境变量

所有机器都要进行配置hadoop的环境变量

vim /etc/profile
export HADOOP_HOME=/home/bigdata/hadoop-3.2.0
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
7、启动集群

（1）首次启动HDFS时, 必须对其进行格式化操作

hdfs namenode -format 或者 hadoop namenode -format

（2）脚本一键启动：

sbin/start-all.sh
sbin/mr-jobhistory-daemon.sh start historyserver

如启动报错：Attempting to operate on hdfs namenode as root
在这里插入图片描述
参考：https://blog.csdn.net/weixin_44455388/article/details/120062749

（3）脚本一键停止：

sbin/stop-all.sh
8、浏览器访问
192.168.xxx.xxx:50070 访问hdfs集群
192.168.xxx.xxx:8088 访问yarn集群
192.168.xxx.xxx:19888 访问jobhistory

Spark on yarn设置

如果我们的spark程序是运行在yarn上面的话，那么我们就不需要spark 的standAlone的集群了，我们只需要找任意一台机器配置我们的spark的客户端提交任务到yarn集群上面去即可

1、下载spark部署包：
http://archive.apache.org/dist/spark/spark-3.1.2/
2、上传部署包并解压：

在这里插入图片描述

3、修改配置文件：

（1）修改spark-env.sh文件：

export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop

如没有配置HADOOP_HOME需要写全路径。

（2）yarn的capacity-scheduler.xml文件修改配置保证资源调度按照CPU + 内存模式：

<property> 
    <name>yarn.scheduler.capacity.resource-calculator</name> 
    <!-- <value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value> --> 
    <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value> 
</property>

（3）修改spakr-defaults.conf文件（可选）：

spark.eventLog.dir=hdfs:///user/spark/applicationHistory
spark.eventLog.enabled=true
spark.yarn.historyServer.address=http://master:18018
4、测试
./bin/spark-submit 
--class org.apache.spark.examples.SparkPi 
--master yarn 
--deploy-mode cluster 
--driver-memory 1g 
--num-executors 3 
--executor-memory 1g 
--executor-cores 1  
examples/jars/spark-examples_2.12-3.1.2.jar
我在北国不背锅
关注
  • 3
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop-3.2.0.tar.gz
07-26
hadoop3.2.0
Spark On Yarn基本原理及部署
小叮当的博客
11-07 1174
spark on yarn部署
docker desktop ubuntu镜像_基于 Docker 构建 Hadoop 平台
weixin_39774644的博客
11-20 507
基于Docker的Hadoop集群构建0. 绪论使用Docker搭建Hadoop技术平台，包括安装Docker、Java、Scala、Hadoop、 Hbase、Spark。集群共有5台机器，主机名分别为 h01、h02、h03、h04、h05。其中 h01 为 master，其他的为 slave。JDK 1.8Scala 2.11.6Hadoop 3.2.0Hbase 2.1.3Spark 2....
Spark3.2.0集群搭建
weixin_42263032的博客
11-28 1357
Spark3.2.0集群搭建
搭建Spark On Yarn 集群
qq_57026298的博客
05-16 574
搭建Spark On Yarn 集群 文章目录搭建Spark On Yarn 集群一、搭建Spark Standalone集群二、提交Spark应用到集群运行 一、搭建Spark Standalone集群 参看《搭建SecureDRT》 修改Spark环境配置文件 （1）Spark On YARN模式的搭建比较简单，仅需要在YARN集群的一个节点上安装Spark即可，该节点可作为提交Spark应用程序到YARN集群的客户端。Spark本身的Master节点和Worker节点不需要启动。 （2）使用此模式需
BUG解决 | Hadoop集群下启动Spark On Yarn 报错问题及解决 版本兼容问题 Hadoop3.1.3 与Spark3.0.0
希望每天都能进步一点点
12-06 1390
Hadoop集群环境下解决SparkOnYarn报错问题，基于Hadoop3.1.3和Spark3.0.0的环境
Spark On Yarn的两种运行模式
小叮当的博客
11-07 1820
spark on yarn两种部署方式
Spark基础学习笔记06：搭建Spark On YARN集群
f54268589的博客
06-15 826
Spark基础学习笔记06：搭建Spark On YARN集群
Hadoop3.x入门-Spark3.x部署
小末的博客
05-14 1299
1.前言 Spark集群模式包括：Local，Standalong，Yarn，Kubernetes，但在生产环境中Spark On Yarn是主流。其中，Spark提供计算服务，Yarn提供资源调度能力。 本文介绍如何部署Spark3.1.3 On Yarn，这种模式下，Spark没有集群的概念，而是作为一个客户端组件向Yarn提交自定义Jar包程序任务，只有提交任务的时候才会启动相关Spark进程，任务结束所有Spark进程将会结束，所以只需要将Spark相关配置配好并部署到hadoop集群中任意一个
数据分析环境hadoop-3.2.0集群搭建
xuliang1265的博客
04-09 242
一、环境 IP地址 操作系统 软件安装 192.168.1.251 centos7 jdk1.8 192.168.1.252 centos7 jdk1.8 192.168.1.253 centos7 jdk1.8 二、修改主机名称 192.168.1.251 hostnamectl set-hostname hadoop01 192.168.1.252 hostnam...
spark-3.2.0-bin-hadoop3-without-hive
04-24
spark-3.2.0-bin-hadoop3-without-hive
spark-3.2.0-bin-hadoop3.2.tgz
01-04
spark-3.2.0-bin-hadoop3.2.tgz
hadoop-3.2.0部署及相关工具
09-14
hadoop-3.2.0 eclipse内含hadoop-eclipse-plugin 插件 本地测试所需必要的hadoop-3.2.0对应的bin
Hadoop-3.2.0基础讲义-单点集群部署-(windows,linux).docx
09-14
Hadoop-3.2.0基础讲义-单点集群部署-(windows,linux).docx
Spark常见异常:Missing an output location for shuffle
热门推荐
weixin_44455388的博客
09-23 2万+
执行数据量较大的spark任务时经常会出现MetadataFetchFailedException: org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 10 at org.apache.spark.MapOutputTracker$$anonfun$conver...
Spark异常：org/codehaus/janino/InternalCompilerException
weixin_44455388的博客
07-20 8627
执行SparkSQL时出现异常： Exception in thread "main" java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerException at org.apache.spark.sql.catalyst.expressions.codegen.GenerateSafeProjection$.create(GenerateSafeProjection.scala:197) at org.a
Spark常见异常: java.util.concurrent.TimeoutException: Futures timed out
weixin_44455388的博客
09-24 8386
执行spark on yarn任务时报错: Caused by : java.util.concurrent.TimeoutException: Futures timed out after 60s 参考此网站https://stackoverflow.com/questions/41123846/why-does-join-fail-with-java-util-concurrent-tim...
SparkSQL处理增量更新与全量更新
weixin_44455388的博客
09-19 8370
SparkSQL的增量更新 项目包结构: 工具类Utils: package com.zhbr.utils import java.util.Properties import org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions import org.apache.spark.sql.{DataFrame, SaveMode...
SparkSQL实现行转列与列转行
weixin_44455388的博客
09-18 7933
例如目前有一张表dlzz: TG_ID表示变压器台区ID，DATA_DATE表示时间，I1、I2和I3分别表示三个不同时间点的电流值 SparkSQL实现列转行 val frame: DataFrame = spark.read.format("jdbc") .option("url", "jdbc:mysql://localhost:3...
spark-3.2.0.tgz和spark-3.2.0-bin-hadoop2.tar.gz的区别
最新发布
07-27
spark-3.2.0.tgz和spark-3.2.0-bin-hadoop2.tar.gz都是Apache Spark的发行版本。它们的区别在于以下几个方面。 首先，文件的扩展名不同。".tgz"表示tarball格式的压缩文件，而".tar.gz"表示gzip压缩的tarball文件。两种格式都是常见的压缩格式，但后者在Linux和Unix系统中更为常见。 其次，两个版本的打包内容有所不同。spark-3.2.0.tgz是Spark的源代码压缩包，包含了Spark的全部源代码。而spark-3.2.0-bin-hadoop2.tar.gz是Spark的预编译版本，已经将Spark的源代码编译成二进制文件，可以直接使用。此版本预先为Hadoop 2.x版本进行了编译和优化，以便与Hadoop集群集成。 最后，使用方式不同。如果您希望构建自定义版本的Spark，或者想修改和开发Spark的源代码，您可以选择下载spark-3.2.0.tgz。而如果您只是想在现有的Hadoop 2.x集群上使用Spark，您可以选择下载spark-3.2.0-bin-hadoop2.tar.gz，无需自行编译和配置。 总之，spark-3.2.0.tgz和spark-3.2.0-bin-hadoop2.tar.gz的区别在于文件格式、打包内容和使用方式。选择哪个版本取决于您的具体需求和环境。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值