Hadoop读书笔记（九）MapReduce计数器

最新推荐文章于 2021-12-14 16:58:29 发布
最新推荐文章于 2021-12-14 16:58:29 发布
阅读量111 收藏 1
点赞数
分类专栏： Hadoop 文章标签： Hadoop

 

Hadoop读书笔记系列文章：http://blog.csdn.net/caicongyang/article/category/2166855

1.MapReduce 计数器的作用

统计Map、Reduce以及Combiner执行的次数，可以用户简单判断代码的执行流程

2.MapReduce自带的计数器

 

14/11/26 22:28:51 INFO mapred.JobClient: Counters: 19
14/11/26 22:28:51 INFO mapred.JobClient:   File Output Format Counters 
14/11/26 22:28:51 INFO mapred.JobClient:     Bytes Written=25
14/11/26 22:28:51 INFO mapred.JobClient:   FileSystemCounters
14/11/26 22:28:51 INFO mapred.JobClient:     FILE_BYTES_READ=343
14/11/26 22:28:51 INFO mapred.JobClient:     HDFS_BYTES_READ=42
14/11/26 22:28:51 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=128056
14/11/26 22:28:51 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=25
14/11/26 22:28:51 INFO mapred.JobClient:   File Input Format Counters 
14/11/26 22:28:51 INFO mapred.JobClient:     Bytes Read=21
14/11/26 22:28:51 INFO mapred.JobClient:   Map-Reduce Framework
14/11/26 22:28:51 INFO mapred.JobClient:     Map output materialized bytes=47
14/11/26 22:28:51 INFO mapred.JobClient:     Map input records=2
14/11/26 22:28:51 INFO mapred.JobClient:     Reduce shuffle bytes=0
14/11/26 22:28:51 INFO mapred.JobClient:     Spilled Records=4
14/11/26 22:28:51 INFO mapred.JobClient:     Map output bytes=37
14/11/26 22:28:51 INFO mapred.JobClient:     Total committed heap usage (bytes)=366034944
14/11/26 22:28:51 INFO mapred.JobClient:     SPLIT_RAW_BYTES=97
14/11/26 22:28:51 INFO mapred.JobClient:     Combine input records=0
14/11/26 22:28:51 INFO mapred.JobClient:     Reduce input records=2
14/11/26 22:28:51 INFO mapred.JobClient:     Reduce input groups=2
14/11/26 22:28:51 INFO mapred.JobClient:     Combine output records=0
14/11/26 22:28:51 INFO mapred.JobClient:     Reduce output records=2
14/11/26 22:28:51 INFO mapred.JobClient:     Map output records=2

 

3.自定义计数器

 

package counter;

import java.io.IOException;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Counter;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.mapreduce.lib.partition.HashPartitioner;
/**
 * 
 * <p> 
 * Title: WordCount.java 
 * Package counter 
 * </p>
 * <p>
 * Description: 自定义计数器
 * <p>
 * @author Tom.Cai
 * @created 2014-11-26 下午10:47:32 
 * @version V1.0 
 *
 */
public class WordCount {
	private static final String INPUT_PATH = "hdfs://192.168.80.100:9000/hello";
	private static final String OUT_PATH = "hdfs://192.168.80.100:9000/out";

	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		FileSystem fileSystem = FileSystem.get(new URI(INPUT_PATH), conf);
		Path outPath = new Path(OUT_PATH);
		if (fileSystem.exists(outPath)) {
			fileSystem.delete(outPath, true);
		}
		Job job = new Job(conf, WordCount.class.getSimpleName());
		FileInputFormat.setInputPaths(job, INPUT_PATH);
		job.setInputFormatClass(TextInputFormat.class);

		job.setMapperClass(MyMapper.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(LongWritable.class);

		job.setPartitionerClass(HashPartitioner.class);
		job.setNumReduceTasks(1);

		job.setReducerClass(MyReducer.class);

		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(LongWritable.class);

		FileOutputFormat.setOutputPath(job, new Path(OUT_PATH));
		job.setOutputFormatClass(TextOutputFormat.class);

		job.waitForCompletion(true);
	}

	static class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable> {
		@Override
		protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
		<span style="color:#ff0000;">	/**
			 * 计数器的使用
			 */
			Counter mycounter = context.getCounter("MyCounter", "hello");
			if (value.toString().contains("hello")) {
				mycounter.increment(1L);
			}</span>
			String[] splited = value.toString().split("\t");
			for (String word : splited) {
				context.write(new Text(word), new LongWritable(1));
			}
		}
	}

	static class MyReducer extends Reducer<Text, LongWritable, Text, LongWritable> {
		@Override
		protected void reduce(Text key, Iterable<LongWritable> value, Context context) throws IOException, InterruptedException {
			long count = 0L;
			for (LongWritable times : value) {
				count += times.get();
			}
			context.write(key, new LongWritable(count));
		}

	}

}

 

3.自定义计数器后输出

4/11/26 22:45:38 INFO mapred.JobClient: Counters: 20
14/11/26 22:45:38 INFO mapred.JobClient: File Output Format Counters
14/11/26 22:45:38 INFO mapred.JobClient: Bytes Written=25
14/11/26 22:45:38 INFO mapred.JobClient: MyCounter
14/11/26 22:45:38 INFO mapred.JobClient: hello=2
14/11/26 22:45:38 INFO mapred.JobClient: FileSystemCounters
14/11/26 22:45:38 INFO mapred.JobClient: FILE_BYTES_READ=343
14/11/26 22:45:38 INFO mapred.JobClient: HDFS_BYTES_READ=42
14/11/26 22:45:38 INFO mapred.JobClient: FILE_BYTES_WRITTEN=128036
14/11/26 22:45:38 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=25
14/11/26 22:45:38 INFO mapred.JobClient: File Input Format Counters
14/11/26 22:45:38 INFO mapred.JobClient: Bytes Read=21
14/11/26 22:45:38 INFO mapred.JobClient: Map-Reduce Framework
14/11/26 22:45:38 INFO mapred.JobClient: Map output materialized bytes=47
14/11/26 22:45:38 INFO mapred.JobClient: Map input records=2
14/11/26 22:45:38 INFO mapred.JobClient: Reduce shuffle bytes=0
14/11/26 22:45:38 INFO mapred.JobClient: Spilled Records=4
14/11/26 22:45:38 INFO mapred.JobClient: Map output bytes=37
14/11/26 22:45:38 INFO mapred.JobClient: Total committed heap usage (bytes)=366034944
14/11/26 22:45:38 INFO mapred.JobClient: SPLIT_RAW_BYTES=97
14/11/26 22:45:38 INFO mapred.JobClient: Combine input records=0
14/11/26 22:45:38 INFO mapred.JobClient: Reduce input records=2
14/11/26 22:45:38 INFO mapred.JobClient: Reduce input groups=2
14/11/26 22:45:38 INFO mapred.JobClient: Combine output records=0
14/11/26 22:45:38 INFO mapred.JobClient: Reduce output records=2
14/11/26 22:45:38 INFO mapred.JobClient: Map output records=2

 

 

 

欢迎大家一起讨论学习！

有用的自己收!

记录与分享，让你我共成长！欢迎查看我的其他博客；我的博客地址：http://blog.csdn.net/caicongyang

 

 

 

it.sky
关注
专栏目录
hadoop常用算法简单实例
feng的博客
01-18 4992
实例一、对以下数据进行排序，根据收入减去支出得到最后结余从大到小排序，数据如下： SumStep运行之后结果如下： SortStep运行之后结果为上图根据结余从大到小排序。 代码如下： public class InfoBean implements WritableComparable{ private String account; private dou
Hadoop学习笔记（二）：MapReduce的进度和状态
Arthur-Chen的专栏
07-22 8758
MapReduce的状态和进度
Hadoop之MapReduce的计数器
勇心在馨
01-30 346
代码存于github:https://github.com/zuodaoyong/Hadoop Hadoop作业在运行时维护了若干个内置计数器，方便用户监控已处理数据量和已产生的输出数据量 1、采用枚举的方式统计计数 Counter getCounter(Enum<?> var1); enum CustomCounter{ normal,abnormal } co...
MapReduce计数器
05-23 274
1、MapReduce计数器是什么？ 计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器，记录数据或者进度的变化情况。 2、MapReduce计数器能做什么？ MapReduce 计数器（Counter）为我们提供一个窗口，用于观察 MapReduce Job 运行期的各种细节数据。对MapReduce性能调优很有帮助，Ma...
[hadoop读书笔记] 第十五章 sqoop1.4.6小实验 - 数据在mysq和hdfs之间的相互转换
weixin_34372728的博客
01-24 138
  P573 从mysql导入数据到hdfs   第一步：在mysql中创建待导入的数据   1、创建数据库并允许所有用户访问该数据库   mysql -h 192.168.200.250 -u root -p CREATE DATABASE sqoop;GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'; 或 GRANT SELECT, I...
hadoop计数器
weixin_30314631的博客
09-28 73
context.getCounter("ssx", "demo1").increment(1); context.getCounter("ssx", "demo2").increment(2); CounterGroup group= job.getCounters().getGroup("ssx"); Iterator<Counter> iterator= grou...
《hadoop权威指南》学习笔记-MapReduce应用开发（下）
summerDG的专栏
11-15 1536
这部分内容主要讲在集群上运行mapreduce，说是这样说，但是由于我们还没有搭建集群环境，所以所有的工作相当于还是在伪分布的情况下做的
又双叒叕来更新啦！Hadoop———MapReduce篇
5akura's Blog
07-09 642
文章目录MapReduce（计算）MapReduce概述MapReduce定义MapReduce的优缺点核心思想MapReduce计算程序运行时的相关进程官方WordCount源码MapReduce编程规范手动实现WordCountWindows上Java程序实现集群上运行序列化序列化概述自定义bean对象实现序列化接口实操实现MapReduce框架原理数据切片和MapTask并行度决定机制Job提交源码过程分析Job切片源码CombineTextInputFormat切片机制实操测试FileInputFo
Hadoop权威指南（第4版）-OReilly 2016 读书笔记
cteng的专栏
08-28 3362
Hadoop权威指南（第4版）-OReilly 2016-ReadingNotes.md 初识Hadoop 关于MapReduce mapper和reducercombiner* HDFS p48 Hadoop2: HA，备用namenode2种HA共享存储： NFS过滤器QJM（quorum journal manager） p73 副本怎么放 由近到
MapReduce设计模式学习笔记
沉迷数据无法自拔
12-14 2065
MapReduce
Java中的分页实现
Java_Hadoop的博客
08-01 508
1,创建分页的实体类: 然后获得其属性的get和set方法   需要注意的是getTotalPage()方法需要修改下,计算出总页数    public class UtilPage {    public int totalPage;// 总页数    public int rowsCount;// 总条数    public int currentPage;/
Hadoop实战之mapreduce的WordCount统计单词数目
空空说技术的博客
05-06 1万+
一.Hadoop实战之WordCount统计单词数目 1.前言： 上一篇文章MapReducer项目结构分析 分析了hadoop的计算模型MapReducer的项目结构，下面就仿照先做一个WordCount统计单词数目的实战，便于理解。 参考本例子前： 1.需要确保搭建好了hadoop集群环境。 2.安装了eclipse开发hadoop的环境。 3.这是关于Hadoop实战之W...
用 Hadoop 计算共生矩阵
小小八卦姐的专栏
10-05 1025
本文译自Calculating A Co-Occurrence Matrix with Hadoop 本文是《Data-Intensive Text Processing with MapReduce》提到的MapReduce算法的系列文章的延续。这次我们会使用语料库建立一个单词共生矩阵。 所谓共生矩阵可以描述为对于某种事件，给予一个特定的时间或者空间限制，然后记录在这种情况下会发生的
hadoop学习笔记(九)——hadoop日志分析系统
热门推荐
亡羊补牢
09-23 1万+
环境：centos7+hadoop2.5.2+hive1.2.1+mysql5.6.22+indigo service 2思路：hive加载日志→hadoop分布式执行→需求数据进入mysql注意：hadoop日志分析系统网上资料很多，但是大多都有写小问题，无法顺利运行，但本文中都是经过亲自验证的，可以一气呵成。另外还包括可能遇到的异常的详细解释及相关解决方案。1) 日志格式分析首先分析 Hadoo
MapReduce-Counter使用-快速实现大文件行数的统计
Qi.zheng
03-25 9290
在普通的java程序中我们可以定义一个全局的静态变量，然后我们可以在各个类中去使用，实现累加器的功能，然而在mapruduce中怎么实现这一功能呢，各个map可能运行在不同的JVM中（这里不考虑JVM重用的情况），然而我们可以借助MapReduce提供的Counter功能来实现这一功能，下面我们通过一个实例来说明这一个用法。 实验要求：快速实现文件行数，以及其中错误记录的统计 实验数据： 1
MapReduce： 计数器（Counter）
不花的花和尚的博客
09-15 1803
一、MapReduce计数器是什么？   计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器，记录数据或者进度的变化情况。 二、MapReduce计数器能做什么？   MapReduce 计数器（Counter）为我们提供一个窗口，用于观察 MapReduce Job 运行期的各种细节数据。对MapReduce性能调优很有帮助，MapRedu...
MapReduce学习笔记(1)
HanSion.Z
04-09 479
MapReduce学习笔记1. MapReduce编程模型- Hadoop架构图1.1 Map阶段1.2 Reduce阶段1.3 MapReduce模型图2. MapReduce编程示例2.1 MapReduce原理图2.2 MR中key的作用2.3 创建MAVEN工程2.4 MR参考代码3. MapReduce编程：数据清洗3.1 需求3.2 日志数据结构3.3 逻辑分析3.4 MR代码4. M...
MapReduce计数器计数
入眸幻灭的博客
11-13 641
MapReduce框架自身就有计数机制跟中输入记录的数量，并且所有的计数器信息都存在JobTracker的内存中，在每个map任务中计数器被序列化，并通过状态更新同步到JobTracker，也就是说各节点的计数器结果会在JobTracker进行汇总适用场景：大数据集收集指定字符的出现次数运行环境：windows下VM虚拟机，centos系统，hadoop2.2.0，三节点 ，java 1.7 例子：
Hadoop学习笔记—12.MapReduce中的常见算法
weixin_34248487的博客
11-18 521
Hadoop学习笔记—12.MapReduce中的常见算法 一、MapReduce中有哪些常见算法 　　（1）经典之王：单词计数 　　　　这个是MapReduce的经典案例，经典的不能再经典了！ 　　（2）数据去重 　　　　"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。...
MapReduce计数器与数据库读写示例解析
在MapReduce中，计数器是一种用于收集和统计程序运行中关键信息的工具，可以帮助用户理解程序的运行情况并辅助用户诊断故障。本文将介绍MapReduce的计数器的基本用法，并展示如何通过MapReduce实现读取和写入数据库...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值