13-项目经验之基准测试

于 2022-05-22 16:35:59 发布
阅读量274 收藏 1
点赞数
分类专栏： hadoop面经复习 文章标签： hadoop hdfs big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huaxing_ba/article/details/124911170
版权
本文详细介绍了如何对Hadoop集群进行HDFS读写性能和MapReduce计算性能的基准测试。在100Mbps网络环境下，通过生成MapTask测试HDFS写性能，分析了各项性能指标如吞吐量、平均IO速率和方差。同时，探讨了HDFS读性能测试，解释了读取速度为何可能超过网络带宽。最后，利用sort程序测试了MapReduce性能，展示了测试过程和结果分析。
摘要由CSDN通过智能技术生成

题目：项目经验之基准测试

搭建Hadoop集群后，需对HDFS读写性能和MapReduce计算性能测试，测试jar在Hadoop的share文件夹下

答案：

HDFS的读写性能主要受网络和磁盘影响比较大。为了方便测试，将hadoop102、hadoop103、hadoop104的虚拟机网络都设置为100mbps
在这里插入图片描述
100Mbps单位是bit；10M/s单位是byte；1byte=8bit；100Mbps/8=12.5M/s
一、测试HDFS写性能
1.写测试底层原理
在这里插入图片描述
2.测试内容：向HDFS集群写10个128M的文件
在这里插入图片描述
注意：nrFiles n 为生成MapTask的数量，生产环境一般可通过hadoop103:8088查看CPU核数，设置为（CPU核数-1）
（1）Number of files：生成MapTask数量，一般是集群中（C

最低0.47元/天 解锁文章
大数据捌圆
关注
专栏目录
Hadoop基准测试
wqchibingshaonian的博客
03-11 392
Hadoop基准测试 1.HDFS读写测试 1.1.测试HDFS写性能 测试原理 hadoop自带TestDFSIO读写性能测试工具 测试环境 3台服务器-hadoop集群模式：hadoop版本2.7.2 hadoop命令配置环境变量 配置1台 ：内存16G、CPU4核、宽带1Mbps、SSD500G 配置2台 ：内存4G、CPU2核、宽带1Mbps、SSD500G 测试方案 10个128MB的数据块 测试步骤 清空数据，执行如下2个命令 hadoop jar had.
项目经验之基准测试
weixin_49063354的博客
09-02 300
项目经验之基准测试 1） 测试HDFS写性能 ​ 测试内容：向HDFS集群写14个128M的文件 [xiao @hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 14 -fileSize 128MB 2020-09-02 19:0
基准测试技术
weixin_44886007的博客
07-30 143
基准测试技术-Apache Benchmark Apache Benchmark(ab)工具是最著名的基准测试工具之一，它是默认的Apache安装的一部分，能够通过模拟对特定的URL的任意数量请求来对Web服务器进行负载测试。ab工具主要提供以下信息： 1.传输的总数据大小 2.web服务器在模拟流量下每秒可以支持的请求数 3.完成一个请求所花费的最长时间。 4.完成一个请求所花费的最短时间。 本...
基准测试和性能分析
chinese_darren_的博客
12-07 226
(一)基准测试(测试现状): 1. QPS(吞吐量) 2. 响应时间 3. 并发度(峰值时期) 4. 扩展性 (CPU,IO,DB) (二)性能分析 1. 性能代码(在应用程序中植入) 1.1 总体执行时间 1.2 SQL执行时间 1.3 高消耗函数调用 1.4 远程依赖 1.5 关键服务 (日志记录,使用数据库可以利用SQL来方便查询) 2. MYSQL ...
基准测试与性能分析
a5213573的博客
10-11 306
基准测试与性能分析benchmarking and profiling基准测试 测试指标：时间单位的事务处理量（吞吐量）、响应时间或时延、扩展性、并发性。p52 这里的指标只作为参考，具体的性能测试要按用户类型和对其真正重要的。 设计和规划 标准基准测试（选择合适的测试方法）、设计专用。 设计专用： s1:获取生产数据集的快照。 s2...
Android-Bazel和Gradle的Android基准测试项目
08-13
本项目主要探讨了两种常用的构建工具——Bazel和Gradle在Android基准测试中的应用。以下是关于这两种工具及其在Android项目中使用的一些核心知识点： 1. **Gradle**： - **简介**：Gradle是一种基于Groovy的开源...
Go-gospeed-Go微型基准测试用于计算语言结构的速度
08-13
gospeed项目，正如其名称所示，是Go语言的一个小型基准测试套件，它提供了多种常见编程模式和语言特性，如循环、函数调用、内存分配等的性能测试。通过这个工具，开发者可以深入理解Go语言的性能特性，优化代码效率...
Commons-Discovery：性能基准测试与调优的必备技巧
在当今信息技术高速发展的背景下，性能基准测试成为了评估软件系统性能的重要手段。这一过程不仅能够揭示系统的运行效率，更能为后续的优化提供依据。性能基准测试的目的是通过一系列标准化的测试案例来衡量系统在...
基准测试
ClareYu的博客
06-10 4339
基准测试方法论 第1章 为什么需要基准测试 测量系统在给定的工作负载下会发生什么。 观察系统在不同压力下的行为，评估系统容量。 观察系统如何处理不同数据。 验证基于系统的一些假设，确认这些假设是否会符合实际情况。 重现系统中的某些异常行为，以解决这些异常。 测试系统当前的运行情况。如果不清楚当前系统的性能，就无法确认某些优化的效果如何。 模拟比当前系统更高的负载，以找出系统对着压力...
测试经验及测试方法
demo_xue的博客
07-17 6555
提出问题，分析问题，总结问题，改进问题产出  产出  产出！！！ 一，测试类型 1.功能测试：最基础的测试类型，主要对产品的各个功能进行验证，检查是否满足产品需求。 1.1 测试用例设计： 1.1.1 主要基于需求的设计：根据需求文档进行分析，按照一定的设计方法去编写测试用例，如正反例，边界值； 1.1.2 主要基于经验的设计：业务类的一些需求，要
7.数仓项目经验—基准测试
weixin_45267102的博客
09-18 648
项目经验之基准测试 1. 测试HDFS写性能 测试内容： 向HDFS集群写10个128M的文件。 hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB 注意： nrFiles n为生成mapTask的数量，生产环境一般可通过8088端口查看
大数据——Hadoop集群调优
bhegi_seg的博客
03-30 3475
注意：本文使用的Hadoop版本为3.2.1版本 目录 一、HDFS多目录存储 1.1 生产环境服务器磁盘情况 1.2 在hdfs-site.xml文件中配置多个目录，需要注意新挂载磁盘的访问权限问题。 二、集群数据均衡 2.1 节点间数据均衡 1）开启数据均衡命令 2）停止数据均衡命令 2.2 磁盘间数据均衡 1）生成均衡计划 2）执行均衡计划 3）查看当前均衡任务的执行情况 4）取消均衡任务 三、配置LZO压缩 1）下载hadoop-lzo开源组件并编译 2）将编译好的hadoop-lzo-0.4.20
基准测试方法
shareing
06-25 4997
基准测试的方法 避免常见错误 设计和规划基准测试 基准测试应该运行多长时间 获取系统性能和状态 获得准确的测试结果 运行基准测试并分析结果 绘图的重要性 基准测试的方法 避免常见错误 在讲解基准测试方法之前，先来看下如何避免一些常见的错误。 1.使用真实数据的子集而不是全集。例如应用需要处理几百GB的数据，但测试只有1GB数据；或者只是用当前数据进行测试，却希望模拟...
hadoop基准性能测试
dgqg1223
07-17 297
HDFS写性能 测试内容：向HDFS集群写10个128m的文件 hadoop jar /opt/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB 20/07/17 08:09:34 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write 20/07/17
性能测试结果分析
weixin_30408675的博客
07-15 482
分析原则： 　　具体问题具体分析（这是由于不同的应用系统，不同的测试目的，不同的性能关注点） 　　查找瓶颈时按以下顺序，由易到难。 　　服务器硬件瓶颈-〉网络瓶颈（对局域网，可以不考虑）-〉服务器操作系统瓶颈（参数配置）-〉中间件瓶颈（参数配置，数据库，web服务器等）-〉应用瓶颈（SQL语句、数据库设计、业务逻辑、算法等） 　　注：以上过程并不是每个分析中都需要的，要根据测试目的和要求来...
Linux服务器性能基准测试脚本合集
资源摘要信息:"Linux服务器基准测试脚本集" Linux是一种广泛使用的类Unix操作系统，自1991年林纳斯·托瓦兹首次发布以来，它已经发展成为一个强大的技术生态系统。作为一个开源的操作系统，Linux不仅广泛应用于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值