压测实操--nnbench压测hdfs_namenode负载方案

于 2024-07-25 16:38:33 发布
阅读量426 收藏 17
点赞数 16
文章标签： hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43756308/article/details/140685883
版权

作者：九月

本次压测使用nnbench对namenode负载进行性能测试。nnbench生成很多与HDFS相关的请求，给NameNode施加较大的压力，这个测试能在HDFS上创建、读取、重命名和删除文件操作。

对应nnbench参数：

请添加图片描述

参数列表：

参数列表
-operationcreate_write open_read rename delete
-mapsmapper数
-reducesreducer数
-startTime开始时间
-blockSizeblock size
-bytesToWrite文件写入字节数 单位为b
-bytesPerChecksum
-numberOfFiles生成的文件数
-replicationFactorPerFile每个文件副本数
-baseDir根路径
-readFileAfterOpenright-aligned 文本居右

注意：如果集群开放了安全认证，需要提前认证通过后，进行压测。

步骤

一、先使用默认值进行压测

目前压测集群的namenode为1G

请添加图片描述

create_write操作

示例：测试map为100，reduce为5，创建10000个文件。（需要查看的指标仪表盘样例）

hadoop jar /usr/hdp/3.1.5.0-152/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.5.0-152-tests.jar nnbench \
-operation create_write \
-maps 100 \
-reduces 5 \
-blockSize 1 \
-bytesToWrite 1024 \
-numberOfFiles 10000 \
-replicationFactorPerFile 3 \
-readFileAfterOpen true \
-baseDir /benchmarks/NNBench

请添加图片描述

请添加图片描述

请添加图片描述

请添加图片描述

hdfs指标

请添加图片描述

请添加图片描述

请添加图片描述

请添加图片描述

1、测试map为100，reduce为5，创建100w个文件。

hadoop jar /usr/hdp/3.1.5.0-152/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.5.0-152-tests.jar nnbench \
-operation create_write \
-maps 100 \
-reduces 5 \
-blockSize 1 \
-bytesToWrite 1024 \
-numberOfFiles 1000000 \
-replicationFactorPerFile 3 \
-readFileAfterOpen true \
-baseDir /benchmarks/NNBench

2、测试map为100，reduce为5，创建500w个文件。

hadoop jar /usr/hdp/3.1.5.0-152/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.5.0-152-tests.jar nnbench \
-operation create_write \
-maps 100 \
-reduces 5 \
-blockSize 1 \
-bytesToWrite 1024 \
-numberOfFiles 5000000 \
-replicationFactorPerFile 3 \
-readFileAfterOpen true \
-baseDir /benchmarks/NNBench

3、测试map为100，reduce为5，创建1000w个文件。

hadoop jar /usr/hdp/3.1.5.0-152/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.5.0-152-tests.jar nnbench \
-operation create_write \
-maps 100 \
-reduces 5 \
-blockSize 1 \
-bytesToWrite 1024 \
-numberOfFiles 10000000 \
-replicationFactorPerFile 3 \
-readFileAfterOpen true \
-baseDir /benchmarks/NNBench

4、测试map为100，reduce为5，创建3000w个文件。

hadoop jar /usr/hdp/3.1.5.0-152/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.5.0-152-tests.jar nnbench \
-operation create_write \
-maps 100 \
-reduces 5 \
-blockSize 1 \
-bytesToWrite 1024 \
-numberOfFiles 30000000 \
-replicationFactorPerFile 3 \
-readFileAfterOpen true \
-baseDir /benchmarks/NNBench

此时有节点内存已经达到93.2%，节点挂掉的风险比较大，增加namenode内存再继续进行压测

openread操作

1、测试map为100，reduce为5，创建100w个文件。

hadoop jar  /usr/hdp/3.1.5.0-152/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.5.0-152-tests.jar nnbench \
-operation open_read \
-maps 100 \
-reduces 5 \
-blockSize 1 \
-bytesToWrite 1024 \
-numberOfFiles 1000000 \
-replicationFactorPerFile 3 \
-readFileAfterOpen true \
-baseDir /benchmarks/NNBench

具体指标见示例中的仪表盘截图。

2、测试map为100，reduce为5，创建500w个文件。

hadoop jar /usr/hdp/3.1.5.0-152/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.5.0-152-tests.jar nnbench \
-operation open_read \
-maps 100 \
-reduces 5 \
-blockSize 1 \
-bytesToWrite 1024 \
-numberOfFiles 5000000 \
-replicationFactorPerFile 3 \
-readFileAfterOpen true \
-baseDir /benchmarks/NNBench

3、测试map为100，reduce为5，创建1000w个文件。

hadoop jar /usr/hdp/3.1.5.0-152/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.5.0-152-tests.jar nnbench \
-operation open_read \
-maps 100 \
-reduces 5 \
-blockSize 1 \
-bytesToWrite 1024 \
-numberOfFiles 10000000 \
-replicationFactorPerFile 3 \
-readFileAfterOpen true \
-baseDir /benchmarks/NNBench

4、测试map为100，reduce为5，创建3000w个文件。

hadoop jar /usr/hdp/3.1.5.0-152/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.5.0-152-tests.jar nnbench \
-operation open_read \
-maps 100 \
-reduces 5 \
-blockSize 1 \
-bytesToWrite 1024 \
-numberOfFiles 30000000 \
-replicationFactorPerFile 3 \
-readFileAfterOpen true \
-baseDir /benchmarks/NNBench
rename操作

1、测试map为100，reduce为5，创建100w个文件。

hadoop jar  /usr/hdp/3.1.5.0-152/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.5.0-152-tests.jar nnbench \
-operation rename \
-maps 100 \
-reduces 5 \
-blockSize 1 \
-bytesToWrite 1024 \
-numberOfFiles 1000000 \
-replicationFactorPerFile 3 \
-readFileAfterOpen true \
-baseDir /benchmarks/NNBench

2、测试map为100，reduce为5，创建500w个文件。

hadoop jar  /usr/hdp/3.1.5.0-152/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.5.0-152-tests.jar nnbench \
-operation rename \
-maps 100 \
-reduces 5 \
-blockSize 1 \
-bytesToWrite 1024 \
-numberOfFiles 5000000 \
-replicationFactorPerFile 3 \
-readFileAfterOpen true \
-baseDir /benchmarks/NNBench

3、测试map为100，reduce为5，创建1000w个文件。

hadoop jar  /usr/hdp/3.1.5.0-152/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.5.0-152-tests.jar nnbench \
-operation rename \
-maps 100 \
-reduces 5 \
-blockSize 1 \
-bytesToWrite 1024 \
-numberOfFiles 10000000 \
-replicationFactorPerFile 3 \
-readFileAfterOpen true \
-baseDir /benchmarks/NNBench

4、测试map为100，reduce为5，创建3000w个文件。

hadoop jar  /usr/hdp/3.1.5.0-152/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.5.0-152-tests.jar nnbench \
-operation rename \
-maps 100 \
-reduces 5 \
-blockSize 1 \
-bytesToWrite 1024 \
-numberOfFiles 30000000 \
-replicationFactorPerFile 3 \
-readFileAfterOpen true \
-baseDir /benchmarks/NNBench
delete操作

1、测试map为100，reduce为5，创建100w个文件。

hadoop jar  /usr/hdp/3.1.5.0-152/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.5.0-152-tests.jar nnbench \
-operation delete \
-maps 100 \
-reduces 5 \
-blockSize 1 \
-bytesToWrite 1024 \
-numberOfFiles 1000000 \
-replicationFactorPerFile 3 \
-readFileAfterOpen true \
-baseDir /benchmarks/NNBench

2、测试map为100，reduce为5，创建500w个文件。

hadoop jar  /usr/hdp/3.1.5.0-152/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.5.0-152-tests.jar nnbench \
-operation delete \
-maps 100 \
-reduces 5 \
-blockSize 1 \
-bytesToWrite 1024 \
-numberOfFiles 5000000 \
-replicationFactorPerFile 3 \
-readFileAfterOpen true \
-baseDir /benchmarks/NNBench

3、测试map为100，reduce为5，创建1000w个文件。

hadoop jar  /usr/hdp/3.1.5.0-152/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.5.0-152-tests.jar nnbench \
-operation delete \
-maps 100 \
-reduces 5 \
-blockSize 1 \
-bytesToWrite 1024 \
-numberOfFiles 10000000 \
-replicationFactorPerFile 3 \
-readFileAfterOpen true \
-baseDir /benchmarks/NNBench

4、测试map为100，reduce为5，创建3000w个文件。

hadoop jar  /usr/hdp/3.1.5.0-152/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.5.0-152-tests.jar nnbench \
-operation delete \
-maps 100 \
-reduces 5 \
-blockSize 1 \
-bytesToWrite 1024 \
-numberOfFiles 30000000 \
-replicationFactorPerFile 3 \
-readFileAfterOpen true \
-baseDir /benchmarks/NNBench

二、增加资源配置进行压测

例如增大namenode内存为2G，依次测试create_write/openerad/rename/delete操作，在内存或者cpu负载达到瓶颈时，结束压测。

三、总结

在集群硬件资源能给到最大条件下（比如namenode最大能给到8G，再大就会影响其他组件的内存使用），压测出此时的并行文件数为该集群中能达到的最大值，执行任务过程中不要超过最大值，并且建议根据该值设置任务运行并行文件阈值进行控制。也可以对每次运行命令的结果tps进行整理形成曲线图，观察不同变量下tps的趋势。

请添加图片描述

趋势图样例

请添加图片描述

更多技术信息请查看云掣官网https://yunche.pro/?t=yrgw

云掣YUNCHE
关注
  • 16
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
11_尚硅谷大数据之HDFS_NameNode和SecondaryNameNode1
08-03
NameNode是HDFS的核心节点，负责管理文件系统的元数据，包括文件和目录的命名空间以及文件的块映射信息。SecondaryNameNode则辅助NameNode，帮助维护元数据的一致性。下面我们将详细探讨NameNode和SecondaryNameNode...
apache-doris-0.12.0-incubating-src.tar.gz-hdfs_broker.zip 编译ok
12-07
- **容错机制**：HDFS Broker 可能具有故障切换和负载均衡功能，保证服务的高可用性。 3. **Java 8 编译**： - **Lambda 表达式**：Java 8 引入了 Lambda 表达式，使得代码更加简洁，尤其在处理函数式编程任务时...
关于Hadoop全分布构建no HDFS_NAMENODE_USER 错误解决
weixin_51341142的博客
11-22 2588
在Hadoop全分布构建中，常常会出现以下错误 [root@Hadoopc1 hadoop]# start-all.sh Starting namenodes on [192.168.13.245] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes ERROR..
but there is no HDFS_NAMENODE_USER defined. Aborting operation.
记录点点滴滴
11-12 5544
but there is no HDFS_NAMENODE_USER defined. Aborting operation.错误信息解决方案 错误信息 Starting namenodes on [cpucode100] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes
hadoop启动报错ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
m0_56246862的博客
11-01 2358
本来Hadoop好好的，但是刚才启动突然报错，而且每一个节点都报错。原因是使用了root用户启动hadoop导致的。切换回hadoop用户据即可解决。
there is no HDFS_NAMENODE_USER defined
lsl520hah的博客
03-04 4971
一、问题信息：ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation 二、解决方法 在Hadoop安装目录下找到sbin文件夹，修改里面的四个文件 1、对于start-dfs.sh和stop-dfs.sh文件，添加下列参数： #!/usr/bin/env bash HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=ro
[hadoop] ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes
01-20
在Hadoop分布式文件系统(HDFS)的运行过程中，可能会遇到一个常见的错误，即"ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes"。这个错误通常意味着系统在尝试启动...
hdfs_design.rar_HDFS-OPERATE_hadoop_hadoop java_hdfs
09-23
Hadoop分布式文件系统（HDFS）是Apache Hadoop项目的核心组件之一，它为大规模数据处理提供了可扩展、高容错性的存储解决方案。本资料集围绕“hdfs_design.rar”这个压缩包，详细介绍了HDFS的原理、操作以及在Java...
Java-Operate-HDFS.zip_hdfs
09-20
首先，我们需要配置Hadoop的配置文件（core-site.xml和hdfs-site.xml），设置HDFS的地址和端口。然后，通过`FileSystem.get(conf)`方法获取`FileSystem`实例，其中`conf`是配置对象。 4. 文件操作： - 读取文件：...
C# WPF入门学习主线篇（七）—— Label常见属性和事件
weixin_56595425的博客
06-07 1816
在《C# WPF入门学习主线篇（七）—— Label常见属性和事件》一文中，我们详细探讨了 WPF 中 `Label` 控件的常见属性和事件，包括 `Content`、`FontSize`、`Foreground`、`Background` 等属性，以及 `MouseEnter`、`MouseLeave`、`MouseDown` 和 `KeyDown` 等事件。通过丰富的示例代码，本文帮助读者掌握如何自定义 `
CH02_XAML
IT技术类博客
07-19 1602
XAML
科普文：重读并翻译分布式计算经典文论-MapReduce
为无为，事无事，味无味。
07-22 882
Mapreduce是一种处理和生产大型数据集的大型数据集的编程模型和相关实现。用户指定一个map函数，该函数处理键/值对以生成一组中间健/值对，以及一个reduce函数，该函数合并与同一中间键关联的所有中间值。如本文所示，许多现实世界中的任务都可以用该模型表示。用这种函数式风格编写的程序可以自动并行化，并在大型商用机器集群上执行。运行时系统需要关注对输入数据进行分区、在一组机器上调度程序的执行、处理机器故障以及管理所需的机器间通信等细节。
SpringBoot整合Elastic-Job 2.1.53版本任务调度，手动任务，动态添加任务演示
小哇
07-23 311
zookeeper安装并成功运行。
数据分析师学习路线与就业环境分析报告
关注收藏，可以私信解决问题！
07-23 821
数据分析师负责收集、处理和分析数据，以帮助企业做出基于数据的决策。他们使用统计方法、数据建模和数据可视化技术来解释复杂的数据集。
Kudu节点数规划
07-19 631
由于Kudu是Hadoop生态的一部分（虽然它不依赖于Hadoop生态系统），因此大多数实际应用场景需要的不仅仅是Kudu；为了输入数据，可能需要Kafka、StreamSets或Spark Streaming；对于机器学习和数据处理，可能需要Spark；对于交互式SQL，我们也肯定想要Impala。实际上，Kudu和Hadoop生态系统紧密低集成正是其优势之一，因此我们很少单独使用Kudu，所以，在讨论Kudu集群规划时，一般不仅仅是考虑到Kudu。
科普文：搭建信贷业务大数据风控体系
为无为，事无事，味无味。
07-22 903
大家好，本期为大家介绍如何从0到1搭建大数据风控体系。分为：获客、贷前、贷中、贷后、主要数据维度，以及如何识别风险客户。
工作中es客户端常见使用错误
07-24 202
es客户端常见错误
压测实操--produce压测方案
最新发布
07-24 691
作者：九月环境信息：操作系统centos7.9，kafka版本为hdp集群中的2.0版本。
ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
03-04
这个错误提示是在尝试以root用户身份操作HDFS的NameNode时出现的。它表明在操作之前没有定义HDFS_NAMENODE_USER环境变量，因此操作被中止了。 HDFS_NAMENODE_USER环境变量是用来指定以哪个用户身份来操作HDFS的NameNode。在进行HDFS操作时，为了安全起见，建议使用非root用户来执行操作，而不是直接使用root用户。 要解决这个错误，你可以按照以下步骤进行操作： 1. 以非root用户登录到系统中。 2. 打开终端，并使用以下命令设置HDFS_NAMENODE_USER环境变量： export HDFS_NAMENODE_USER=<非root用户> （<非root用户>是你希望用于操作HDFS的非root用户的用户名） 3. 然后再次尝试执行你想要的HDFS操作，应该就不会再出现这个错误了。 如果你还有其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值