YARN单机和集群环境部署教程

已于 2024-08-11 10:05:05 修改
阅读量1.4k 收藏 31
点赞数 26
分类专栏： 大数据 文章标签： YARN 大数据 部署 集群 单机 yarn
于 2024-08-08 19:38:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42568323/article/details/141034848
版权

目录

下面是一个详细的 YARN（Yet Another Resource Negotiator）单机和集群环境部署教程，包括部署过程中的注意事项以及一个使用案例。YARN 是 Hadoop 的资源管理器，可以调度和管理分布式应用程序的资源。

一、YARN 单机环境部署

1. 环境准备

  • 操作系统：Linux (推荐使用 Ubuntu 20.04 或 CentOS 7)
  • Java：YARN 需要 Java 环境，推荐使用 OpenJDK 8 或 11。
  • Hadoop：YARN 是 Hadoop 的一部分，所以需要安装 Hadoop。

2. 安装 Java

在 Ubuntu 中：

sudo apt update
sudo apt install openjdk-11-jdk

在 CentOS 中：

sudo yum install java-11-openjdk

验证 Java 安装：

java -version

3. 下载并安装 Hadoop

访问 Hadoop 官网 下载最新版本的 Hadoop。

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz
mv hadoop-3.3.4 /usr/local/hadoop

4. 配置环境变量

编辑 ~/.bashrc 文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

应用更改：

source ~/.bashrc

5. 配置 Hadoop

编辑 Hadoop 的配置文件，位于 $HADOOP_HOME/etc/hadoop。

配置 hadoop-env.sh

设置 Java 路径：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
配置 core-site.xml

配置 HDFS 的默认文件系统：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
配置 hdfs-site.xml

配置 HDFS 的副本数量和数据节点目录：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///usr/local/hadoop/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///usr/local/hadoop/hdfs/datanode</value>
    </property>
</configuration>
配置 yarn-site.xml

配置 YARN 资源管理器和节点管理器：

<configuration>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>localhost:8032</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    </property>
</configuration>
配置 mapred-site.xml

配置 MapReduce 框架为 YARN：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

6. 格式化 HDFS

在首次使用 HDFS 前，需要格式化文件系统：

hdfs namenode -format

7. 启动 Hadoop 和 YARN

启动 HDFS 和 YARN：

start-dfs.sh
start-yarn.sh

8. 验证 YARN

访问 YARN ResourceManager Web 界面，确保 YARN 正常运行：

9. 运行一个简单的 YARN 应用

我们可以运行 Hadoop 自带的 MapReduce 示例程序，以验证 YARN 配置是否正确。

# 创建输入目录并上传文件
hdfs dfs -mkdir -p /user/hadoop/input
hdfs dfs -put $HADOOP_HOME/etc/hadoop/*.xml /user/hadoop/input

# 运行 WordCount 示例
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /user/hadoop/input /user/hadoop/output

# 查看输出
hdfs dfs -cat /user/hadoop/output/part-r-00000

注意事项

  • 确保 Java 和 Hadoop 环境配置正确。
  • 检查防火墙设置，确保 YARN 的端口可访问。
  • 内存和资源配置：根据实际需求调整 yarn-site.xml 中的资源配置。

二、YARN 集群环境部署

1. 环境准备

  • 多台服务器：至少 3 台（1 个 ResourceManager，2 个 NodeManager）。
  • 网络：确保各节点之间可以互相访问。
  • 操作系统：Linux (Ubuntu 或 CentOS)。
  • Java：在所有节点上安装 Java。
  • Hadoop：在所有节点上安装 Hadoop。

2. 配置 SSH 免密码登录

在 ResourceManager 节点上生成 SSH 密钥：

ssh-keygen -t rsa

将公钥复制到所有 NodeManager 节点：

ssh-copy-id user@nodemanager1
ssh-copy-id user@nodemanager2

3. 安装 Hadoop

在所有节点上安装 Hadoop，步骤与单机安装相同。

4. 配置 Hadoop 集群

配置 hadoop-env.sh

设置 Java 路径：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
配置 core-site.xml

配置 HDFS 的默认文件系统：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>
配置 hdfs-site.xml

配置 HDFS 的副本数量和数据节点目录：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///usr/local/hadoop/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///usr/local/hadoop/hdfs/datanode</value>
    </property>
</configuration>
配置 yarn-site.xml

配置 YARN 资源管理器和节点管理器：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    </property>
</configuration>
配置 mapred-site.xml

配置 MapReduce 框架为 YARN：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
配置 slaves 文件

在 Master 节点上，编辑 $HADOOP_HOME/etc/hadoop/slaves 文件，添加所有 NodeManager 节点的主机名：

nodemanager1
nodemanager2

5. 格式化 HDFS

在 Master 节点上格式化 HDFS：

hdfs namenode -format

6. 启动 Hadoop 和 YARN

在 Master 节点上启动 HDFS 和 YARN：

start-dfs.sh
start-yarn.sh

7. 验证集群状态

访问 YARN ResourceManager Web 界面，确保所有节点正常运行：

注意事项

  • **确保 SSH

配置正确**，Master 节点需要通过 SSH 无密码访问 Worker 节点。

  • 内存和资源配置：根据实际需求调整 yarn-site.xml 中的资源配置。
  • 时钟同步：使用 ntpd 或 chrony 确保所有节点的时钟同步。

三、YARN 使用案例：Word Count

使用 Java 实现 YARN Word Count

1. 编写 Java 程序
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.util.StringTokenizer;

public class WordCount {

    public static class TokenizerMapper
            extends Mapper<Object, Text, Text, IntWritable> {

        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        public void map(Object key, Text value, Context context
        ) throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());
                context.write(word, one);
            }
        }
    }

    public static class IntSumReducer
            extends Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable<IntWritable> values,
                           Context context
        ) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}
2. 编译并打包 Java 程序

确保你已经安装了 Maven，并在 pom.xml 文件中配置了 Hadoop 依赖：

<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>3.3.4</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>3.3.4</version>
    </dependency>
</dependencies>

编译并打包：

mvn clean package
3. 运行 Java 程序

将输入文件上传到 HDFS：

hdfs dfs -put localfile.txt /user/hadoop/input

运行 YARN 应用：

hadoop jar target/wordcount-1.0-SNAPSHOT.jar WordCount /user/hadoop/input /user/hadoop/output
4. 查看结果
hdfs dfs -cat /user/hadoop/output/part-r-00000

使用 Python 实现 YARN Word Count

可以使用 Hadoop Streaming 来实现 Python 版的 Word Count。

1. 编写 Python 程序

创建 mapper.py：

#!/usr/bin/env python3
import sys

for line in sys.stdin:
    words = line.strip().split()
    for word in words:
        print(f"{word}\t1")

创建 reducer.py：

#!/usr/bin/env python3
import sys

current_word = None
current_count = 0
word = None

for line in sys.stdin:
    word, count = line.strip().split('\t', 1)
    count = int(count)

    if current_word == word:
        current_count += count
    else:
        if current_word:
            print(f"{current_word}\t{current_count}")
        current_word = word
        current_count = count

if current_word == word:
    print(f"{current_word}\t{current_count}")

给文件添加可执行权限：

chmod +x mapper.py reducer.py
2. 运行 Python 程序

将输入文件上传到 HDFS：

hdfs dfs -put localfile.txt /user/hadoop/input

运行 Hadoop Streaming：

hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-3.3.4.jar \
    -input /user/hadoop/input \
    -output /user/hadoop/output \
    -mapper mapper.py \
    -reducer reducer.py \
    -file mapper.py \
    -file reducer.py
3. 查看结果
hdfs dfs -cat /user/hadoop/output/part-00000

总结

通过以上步骤，我们成功部署了 YARN 单机和集群环境，并实现了一个简单的 Word Count 应用。YARN 提供了强大的资源管理和调度能力，可以支持多种分布式计算框架，如 Hadoop MapReduce、Apache Spark 等。

部署过程中的注意事项

  • 确保 Java 和 Hadoop 环境配置正确。
  • 检查网络配置，确保各节点之间的通信正常。
  • 合理分配资源，根据集群规模和任务需求调整 YARN 的资源配置。
  • 时钟同步：使用 ntpd 或 chrony 确保所有节点的时钟同步。
  • 监控集群状态，定期检查节点状态和资源使用情况，及时处理故障节点。

通过合理配置和优化，YARN 可以在多种场景下提供高效的资源管理和任务调度能力，为大规模数据处理提供强有力的支持。

闲人编程
关注
  • 26
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
clickhouse单机和集群部署
Daniel462038751的专栏
10-20 1607
Clickhouse单机和集群部署教程
Hadoop YARN HA 集群安装部署详细图文教程
Stars.Sky 的博客
09-05 3263
Hadoop YARN HA 集群安装部署详细图文教程
Yarn集群配置
SUNJDL的博客
12-21 2339
Yarn集群配置hadoop是由hdfs、yarn和mapreduce组成，yarn负责调配内存和cpu,在此需要对yarn进行相关配置。
大数据技术基础实验十二：YARN实验——部署YARN集群
北天的博客
11-09 2120
大数据技术基础实验十二，YARN集群配置启动。
大数据技术之Hadoop：Yarn集群部署（七）
最新发布
路漫漫其修远兮，吾将上下而求索
09-08 1905
常用的进程启动命令如下：一键启动YARN集群：会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定在哪台机器上启动会基于workers文件配置的主机启动一键停止YARN集群：在当前机器，单独启动或停止进程start和stop决定启动和停止可控制resourcemanager、nodemanager、proxyserver三种进程历史服务器启动和停止start|stop。
yarn分布式集群部署
luohandsome的专栏
09-15 2180
单机部署的方式，ubuntu上和CentOS一样 分布式集群的部署方式 1. 修改slave1和slave2机器的/etc/hosts 设置master slave1 slave2 namenode datanode1 datanode2 修改配置etc/hadoop/slaves 没有etc/hadoop/master文件 master配置写在yarn-site.xml中 把lo
YARN集群搭建
Kimshell
10-16 425
目录说明YARN集群规划配置文件配置mapred-site.xml配置yarn-site.xml启动测试 说明 先搭建成功HDFS高可用完全分布式 YARN集群规划 配置文件 配置mapred-site.xml &lt;property&gt; &lt;name&gt;mapreduce.framework.name&lt;/name&gt; &lt;value&...
Yarn分布式集群环境部署
arne's Blog
06-14 887
YARN配置 在Hadoop-HA高可用分布式环境中改造 NN-1 NN-2 DN ZK ZKFC JNN RM NM node01 * * * node02 * * * * * * node03 * * * * * node04 * * * * node01: 1）mapred-site.xml <!--开启mapreduce....
YARN环境部署
孤独的博客
08-18 340
查看官网
Hadoop单机与集群部署笔记.docx
09-19
- **配置集群环境：** - 编辑`/usr/local/hadoop/etc/hadoop`下的配置文件： - `slaves`：列出所有Slave节点的主机名。 - `core-site.xml`：配置HDFS相关的参数。 - `hdfs-site.xml`：设置`dfs.replication`等...
大数据技术 讲解Hadoop单机安装和集群部署的方法和步骤入门文档 适用于centos等操作系统（共24页）.rar
09-29
通过上述步骤，你将能够成功地在CentOS系统上安装和部署Hadoop，无论是单机模式还是分布式集群，都可以为你的大数据项目提供坚实的基础。在实践中不断学习和优化，将助你更好地驾驭Hadoop这一强大的大数据处理工具。
2_2 hadoop集群安装部署.pdf
07-16
Hadoop集群安装部署的知识点总结如下： 1. Hadoop集群安装部署的目标： - 掌握Hadoop的集群安装配置方法； - 掌握SSH配置方法； - 掌握Hadoop集群服务启动与停止； - 会使用Hadoop集群运行简单的MapReduce计算...
Flink 1.13部署指南：深入解析单机与集群模式
击水三千里的专栏
09-22 506
在YARN上使用Flink有3种模式：Per-Job模式、Session模式和Application模式。 在Standalone上使用Flink有3种模式：Per-Job模式、Session模式和Application模式。
yarn部署
王小禾
11-19 1898
hadoop或yarn的每一个服务都可以单独部署。如namenode可以部署3.2，resourcemanager和nodemanager可以部署2.7. 这样一来，就需要给hadoop一套配置，给yarn一套配置。 hdfs配置（NN、DN配置）： hdfs-site.xml core-site.xml YARN配置（RM、NM配置）： hdfs-site.xml core-site.xm...
YARN部署
Code-Cook的博客
04-11 202
Configure parameters as follows cp mapred-site.xml.template mapred-site.xml etc/hadoop/mapred-site.xml etc/hadoop/yarn-site.xml Reference https://ke.qq.com/course/478249
yarn集群模式配置（一）
zphyy1988的博客
01-30 509
  tar -zxvf hadoop-2.7.7.tar.gz cd /home/spark/bigdata/hadoop-2.7.7/etc/hadoop vi hadoop-env.sh export JAVA_HOME=/opt/jdk1.8.0_201   cd /home/spark/bigdata/hadoop-2.7.7 vi etc/hadoop/core-site....
Yarn部署
weixin_40420525的博客
10-18 305
修改etc/hadoop/mapred-site.xml 复制 mapred-site.xml.template cp mapred-site.xml.template mapred-site.xml 修改mapred-site.xml &amp;amp;lt;configuration&amp;amp;gt; &amp;amp;lt;property&amp;amp;gt; &amp;amp;lt;name&
yarn的部署
weixin_30912051的博客
02-19 183
Yarn: 资源和作业调度 是需要部署的 MapReduce on Yarn http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html查看以下内容的官网 Configure parameters as follows:etc/hadoop/mapred-site.xml:...
spark on yarn 集群部署
07-27
对于Spark on YARN的集群部署，您可以按照以下步骤进行操作： 1. 首先，确保已经安装和配置好Hadoop和YARN集群。确保YARN ResourceManager和NodeManager正在运行，并且集群配置正确。 2. 下载Spark二进制文件并解压缩到每个节点上。确保在所有节点上使用相同的Spark版本。 3. 在Spark的conf目录中，创建一个名为spark-env.sh的文件，并设置以下参数： ``` export HADOOP_CONF_DIR=<Hadoop配置目录> export YARN_CONF_DIR=<YARN配置目录> ``` 将 `<Hadoop配置目录>` 替换为Hadoop配置文件所在的目录路径，将 `<YARN配置目录>` 替换为YARN配置文件所在的目录路径。 4. 在Spark的conf目录中，打开spark-defaults.conf文件，并添加以下参数： ``` spark.master yarn spark.submit.deployMode cluster ``` 5. 根据您的需求，可以根据集群规模和资源分配需求，调整以下参数： ``` spark.executor.memory spark.executor.cores spark.executor.instances ``` 6. 您还可以根据需要设置其他Spark和YARN相关的参数，如队列设置、日志级别等。 7. 在启动Spark应用程序之前，确保您的环境变量中包含Spark和Hadoop的bin目录。您可以将这些目录添加到PATH环境变量中。 8. 使用以下命令提交Spark应用程序： ``` ./bin/spark-submit --class <main-class> --master yarn --deploy-mode cluster <application-jar> [application-arguments] ``` 将 `<main-class>` 替换为您的应用程序的主类，将 `<application-jar>` 替换为您的应用程序的JAR文件路径。 9. Spark提交应用程序后，YARN将为您的应用程序启动相应的Executor，并将资源分配给它们。您可以使用YARN的Web界面或命令行工具来监视和管理Spark应用程序。 请注意，这只是Spark on YARN集群部署的基本步骤，您可能需要根据您的特定环境和需求进行一些调整和配置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

闲人编程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值