Mapreduce 任务获取配置信息和counters 信息

最新推荐文章于 2021-12-07 13:55:12 发布
最新推荐文章于 2021-12-07 13:55:12 发布
阅读量463 收藏
点赞数
分类专栏： hadoop学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuzhilon88/article/details/115360371
版权

获取用户MR 任务配置信息api

http://xxxx:8080/proxy/application_1605539278152_9672465/ws/v1/mapreduce/jobs/job_1605539278152_9672465/conf

通过api 获取MR counters 

mapred job [-counter <job-id> <group-name> <counter-name>] 获取方式改成

http://xxx:8080/proxy/application_1605539278152_9624852/ws/v1/mapreduce/jobs/job_1605539278152_9624852/counters

wuzhilon88
关注
专栏目录
MapReduce读取数据库操作
weixin_43883574的博客
10-22 1213
MapReduce读取数据库操作MapReduceMapReduce 实体类MapReduce DBMapper类（读数据库操作）MapReduce DBReduce类（读数据库操作）MapReduce DBDriver类（读数据库操作驱动类） MapReduce MapReduce 实体类 读取数据库操作，首先创建实体类。 实体类需要继承 Writable，DBWritable两个类。 重写Writable的 write（序列化方法），readFields（反序列化方法）方法。重写 DBWrit
[MapReduce] Counter
weixin_44248034的博客
03-04 922
SSS
Hadoop Map Reduce 限制counter的默认数量120
momo的专栏
01-18 1664
最近用Hadoop统计将近一亿行的数据,由于每一行的列再加上Overall的统计 counter数量超过了120,故在Hadoop的运行过程中,抛出如下异常: [java] view plaincopyprint? org.apache.hadoop.mapreduce.counters.LimitExceededException: Too m
MapReduce计数器
05-23 274
1、MapReduce计数器是什么？ 计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器，记录数据或者进度的变化情况。 2、MapReduce计数器能做什么？ MapReduce 计数器（Counter）为我们提供一个窗口，用于观察 MapReduce Job 运行期的各种细节数据。对MapReduce性能调优很有帮助，Ma...
MR的计数器 —— Hadoop权威指南14
lucyLee的博客
06-06 436
之前，在展示MR作业的结果时，我们发现会有一些统计数据输出 21/04/06 09:51:19 INFO mapreduce.Job: Counters: 49 File System Counters FILE: Number of bytes read=67 FILE: Number of bytes written=416357 FILE: Number of read operations=0 FILE:..
MapReduce性能调优工具：使用MapReduce Counters进行细粒度分析
MapReduce Counters 是 Hadoop 框架中用于监控和分析 MapReduce 作业执行情况的一个重要工具。它为开发者和运维人员提供了实时的、可扩展的数据处理质量监控机制。本章将简单介绍 Counters 的基础知识，为后续深入...
Windows环境提交MapReduce任务到Linux报错
water drop的博客
03-19 624
系统环境 C.D.H 版本：6.2.0 hadoop 版本：3.0.0 集群环境：Linux CentOS7 ①.java.io.IOException: Port 9820 specified in URI hdfs://nameservice1:9820/user/root/.staging/job_1616116977910_0014/job.splitmetainfo but host ‘nameservice1’ is a logical (HA) namenode and does not u
如何理解MapReduce计算器，这篇文章能给你答案
weixin_44598691的博客
03-21 367
MapReduce计数器是什么？ 计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器，记录数据或者进度的变化情况。 MapReduce计数器能做什么？ MapReduce 计数器（Counter）为我们提供一个窗口，用于观察 MapReduce Job 运行期的各种细节数据。对MapReduce性能调优很有帮助，MapReduce性能优化的评估大部...
执行一个MapReduce时，应该监控些什么
fantuanbaba的博客
06-27 1342
    执行一个MapReduce时，应该监控些什么前言       本文讨论的是，在以Yarn做资源管理的集群上如何监控一个MapReduce程序。一、概述    当我们执行一个MapReduceJob，或是执行一个Hive SQL（MapReduce为引擎），又或是Sqoop后，程序被提交给了集群。对于开发、测试集群运行程序的开发人员来说，刚刚接触MapReduce的初学者往往是在命令行前等着...
MapReduce原理以及使用
weixin_45134156的博客
08-23 705
MapReduce是一个框架，使用它我们可以编写应用程序，以可靠的方式在大型商用硬件集群上并行处理大量数据。 什么是MapReduce？ MapReduce是一种基于java的分布式计算的处理技术和程序模型。MapReduce算法包含两个重要任务，即Map和Reduce。Map获取一组数据并将其转换为另一组数据，其中各个元素被分解为元组（键/值对）。其次，减少任务，它将地图的输出作为输入，并将这些...
Hadoop集群使用基本命令-MapReduce（一）
Turn X7
04-05 827
小测： [xuliang@Centos7 ~/hadoop/hadoop-2.10.0/share/hadoop]$ ll total 12 drwxr-xr-x. 6 xuliang xuliang 161 Oct 23 03:23 common drwxr-xr-x. 7 xuliang xuliang 4096 Oct 23 03:23 hdfs drwxr-xr-x. 3 xulian...
记一次MapReduce Job运行报错
涵sir的博客
03-04 1526
描述： MR Job提交运行， 错误退出，无报错信息。 解决： 先加上日志框架 <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> <version>1.7.25</version> </depend.
mapreduce分组统计_Hadoop实战-MapReduce之分组(group-by)统计(七)
weixin_39819138的博客
12-21 341
1、数据准备使用MapReduce计算age.txt中年龄最大、最小、均值name,min,max,countMike,35,20,1Mike,5,15,2Mike,20,13,1Steven,40,20,10Ken,28,68,1Ken,14,198,10Cindy,32,31,1002、预期结果Mike520 4Steven,40,20,10Ken 14 198 11Cindy,32,...
大数据集群参数信息
weixin_44847293的博客
12-07 1114
hdfs-site.xml dfs.replication hdfs 副本数 <property> <name>dfs.replication</name> <value>3</value> </property> dfs.blocksize hdfs 存储块大小 根据最佳传输消耗理论，一次传输中寻址时间为总传输时间的1%为最佳状态。 一般机器磁盘寻址时间为10ms，一次写入数据总传输时间为1
MapReduce笔记-2
beeworkshop的博客
10-04 322
对输出数据切片 对于压缩文件无法切片 切片的数量决定了Map的数量 切片的尺寸 算法： size = Math.max(minSize, Math.min(maxSize, blockSize))；
Hadoop专业解决方案-第5章 开发可靠的MapReduce应用
weixin_33913332的博客
04-19 193
本章主要内容： 1、利用MRUnit创建MapReduce的单元测试。 2、MapReduce应用的本地实例。 3、理解MapReduce的调试。 4、利用MapReduce防御式程序设计。 在WOX.COM下载本章源代码 本章在wox.com网站的源码可以在www.wiley.com/go/prohadoopsolutions的源码下载标签找到。第五章...
MapReduce 计数器简介
阿龙_的专栏
06-11 1038
1、计数器简介 在许多情况下，一个用户需要了解待分析的数据，尽管这并非所要执行的分析任务 的核心内容。以统计数据集中无效记录数目的任务为例，如果发现无效记录的比例 相当高，那么就需要认真思考为何存在如此多无效记录。是所采用的检测程序存在 缺陷，还是数据集质量确实很低，包含大量无效记录？如果确定是数据集的质量问 题，则可能需要扩大数据集的规模，以增大有效记录的比例，从而进行有意义的 分析。 
MapReduce全局程序计数器Counters
patrick_big_data的博客
02-15 563
文章目录Counters定义以源码的TaskCounter计数器为例自定义Counter例子 Counters定义 Counters represent global counters, defined either by the MapReduce framework or applications. Each Counter can be of any Enum type. Counters...
MapReduce中的计数器概念和自定义计数器方法
大数据流浪法师的学习笔记与分享
11-16 561
计数器的概念 打个比方：人数钱的时候，人就是计数器 计数器是收集作业统计信息的有效手段之一，用于质量控制或应用级统计（就是用来数数的）。 计数器还可辅助诊断系统故障。如果需要将日志信息传输到map 或reduce 任务， 更好的方法通常是看能否用一个计数器值来记录某一特定事件的发生（记录某事件发生的次数）。 对于大型分布式作业而言，使用计数器更为方便。 除了因为获取计数器值比输出日志更方便，还有...
MapReduce优化：档案信息数据库快速检索系统实践
"基于MapReduce的档案信息数据库快速检索系统设计" 在当前信息化时代，随着计算机技术和移动互联网的快速发展，档案信息量急剧增加，从TB级跃升至EB、ZB级。这些海量数据中蕴含了丰富的价值，对生产和生活产生深远...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值