自定义计数器

最新推荐文章于 2022-11-28 21:21:15 发布
最新推荐文章于 2022-11-28 21:21:15 发布
阅读量942 收藏
点赞数
分类专栏： Bigdatda-Hadoop2.0 Bigdatda-MapReduce 文章标签： 自定义计数器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baolibin528/article/details/45074601
版权




代码：


import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Counter;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.NLineInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.mapreduce.lib.partition.HashPartitioner;

public class CounterTest {
	public static class MyMapper extends
			Mapper<LongWritable, Text, Text, LongWritable> {
		final Text k2 = new Text();
		final LongWritable v2 = new LongWritable();

		protected void map(LongWritable key, Text value,
				Mapper<LongWritable, Text, Text, LongWritable>.Context context)
				throws InterruptedException, IOException {
			Counter counterForhello=context.getCounter("xiaobaozi", "startText");
			Counter counterForyou=context.getCounter("xiaobaozi", "endText");
			
			final String line = value.toString();
			if(line!=null){
				if(line.contains("hello")){
					counterForhello.increment(1);
				}
				if(line.contains("you")){
					counterForyou.increment(1);
				}
			}
			
			final String[] splited = line.split("\\s");
			for (String word : splited) {
				k2.set(word);
				v2.set(1);
				context.write(k2, v2);
			}
		}
	}

	public static class MyReducer extends
			Reducer<Text, LongWritable, Text, LongWritable> {
		LongWritable v3 = new LongWritable();

		protected void reduce(Text k2, Iterable<LongWritable> v2s,
				Reducer<Text, LongWritable, Text, LongWritable>.Context context)
				throws IOException, InterruptedException {
			long count = 0L;
			for (LongWritable v2 : v2s) {
				count += v2.get();
			}
			v3.set(count);
			context.write(k2, v3);
		}
	}

	public static void main(String[] args) throws Exception {
		final Configuration conf = new Configuration();
		final Job job = Job.getInstance(conf, CounterTest.class.getSimpleName());
		// 1.1
		FileInputFormat.setInputPaths(job,"hdfs://192.168.1.100:9000/input/hehe");
		
		NLineInputFormat.setNumLinesPerSplit(job, Integer.parseInt("2"));
		//NLineInputFormat.setNumLinesPerSplit(job, Integer.parseInt(args[0]));
		job.setInputFormatClass(NLineInputFormat.class);
		
		
		// 1.2
		job.setMapperClass(MyMapper.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(LongWritable.class);
		// 1.3
		job.setPartitionerClass(HashPartitioner.class);
		job.setNumReduceTasks(1);
		// 1.4
		// 1.5

		// 2.2
		job.setReducerClass(MyReducer.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(LongWritable.class);
		// 2.3
		FileOutputFormat.setOutputPath(job, new Path(
				"hdfs://192.168.1.100:9000/out1"));
		job.setOutputFormatClass(TextOutputFormat.class);
		// 
		job.setJarByClass(CounterTest.class);
		job.waitForCompletion(true);
	}
}


console输出结果：

15/04/16 14:06:19 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/04/16 14:06:19 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
15/04/16 14:06:19 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
15/04/16 14:06:20 INFO input.FileInputFormat: Total input paths to process : 1
15/04/16 14:06:20 INFO mapred.JobClient: Running job: job_local535401905_0001
15/04/16 14:06:20 INFO mapred.LocalJobRunner: Waiting for map tasks
15/04/16 14:06:20 INFO mapred.LocalJobRunner: Starting task: attempt_local535401905_0001_m_000000_0
15/04/16 14:06:21 INFO mapred.Task:  Using ResourceCalculatorPlugin : null
15/04/16 14:06:21 INFO mapred.MapTask: Processing split: hdfs://192.168.1.100:9000/input/hehe:18+19
15/04/16 14:06:21 INFO mapred.MapTask: io.sort.mb = 100
15/04/16 14:06:21 INFO mapred.MapTask: data buffer = 79691776/99614720
15/04/16 14:06:21 INFO mapred.MapTask: record buffer = 262144/327680
15/04/16 14:06:21 WARN snappy.LoadSnappy: Snappy native library not loaded
15/04/16 14:06:21 INFO mapred.MapTask: Starting flush of map output
15/04/16 14:06:21 INFO mapred.MapTask: Finished spill 0
15/04/16 14:06:21 INFO mapred.Task: Task:attempt_local535401905_0001_m_000000_0 is done. And is in the process of commiting
15/04/16 14:06:21 INFO mapred.LocalJobRunner: 
15/04/16 14:06:21 INFO mapred.Task: Task 'attempt_local535401905_0001_m_000000_0' done.
15/04/16 14:06:21 INFO mapred.LocalJobRunner: Finishing task: attempt_local535401905_0001_m_000000_0
15/04/16 14:06:21 INFO mapred.LocalJobRunner: Starting task: attempt_local535401905_0001_m_000001_0
15/04/16 14:06:21 INFO mapred.Task:  Using ResourceCalculatorPlugin : null
15/04/16 14:06:21 INFO mapred.MapTask: Processing split: hdfs://192.168.1.100:9000/input/hehe:0+18
15/04/16 14:06:21 INFO mapred.MapTask: io.sort.mb = 100
15/04/16 14:06:21 INFO mapred.MapTask: data buffer = 79691776/99614720
15/04/16 14:06:21 INFO mapred.MapTask: record buffer = 262144/327680
15/04/16 14:06:21 INFO mapred.MapTask: Starting flush of map output
15/04/16 14:06:21 INFO mapred.MapTask: Finished spill 0
15/04/16 14:06:21 INFO mapred.Task: Task:attempt_local535401905_0001_m_000001_0 is done. And is in the process of commiting
15/04/16 14:06:21 INFO mapred.LocalJobRunner: 
15/04/16 14:06:21 INFO mapred.Task: Task 'attempt_local535401905_0001_m_000001_0' done.
15/04/16 14:06:21 INFO mapred.LocalJobRunner: Finishing task: attempt_local535401905_0001_m_000001_0
15/04/16 14:06:21 INFO mapred.LocalJobRunner: Map task executor complete.
15/04/16 14:06:21 INFO mapred.Task:  Using ResourceCalculatorPlugin : null
15/04/16 14:06:21 INFO mapred.LocalJobRunner: 
15/04/16 14:06:21 INFO mapred.Merger: Merging 2 sorted segments
15/04/16 14:06:21 INFO mapred.Merger: Down to the last merge-pass, with 2 segments left of total size: 122 bytes
15/04/16 14:06:21 INFO mapred.LocalJobRunner: 
15/04/16 14:06:22 INFO mapred.JobClient:  map 100% reduce 0%
15/04/16 14:06:23 INFO mapred.Task: Task:attempt_local535401905_0001_r_000000_0 is done. And is in the process of commiting
15/04/16 14:06:23 INFO mapred.LocalJobRunner: 
15/04/16 14:06:23 INFO mapred.Task: Task attempt_local535401905_0001_r_000000_0 is allowed to commit now
15/04/16 14:06:23 INFO output.FileOutputCommitter: Saved output of task 'attempt_local535401905_0001_r_000000_0' to hdfs://192.168.1.100:9000/out1
15/04/16 14:06:23 INFO mapred.LocalJobRunner: reduce > reduce
15/04/16 14:06:23 INFO mapred.Task: Task 'attempt_local535401905_0001_r_000000_0' done.
15/04/16 14:06:24 INFO mapred.JobClient:  map 100% reduce 100%
15/04/16 14:06:24 INFO mapred.JobClient: Job complete: job_local535401905_0001
15/04/16 14:06:24 INFO mapred.JobClient: Counters: 21
15/04/16 14:06:24 INFO mapred.JobClient:   File Output Format Counters 
15/04/16 14:06:24 INFO mapred.JobClient:     Bytes Written=19
15/04/16 14:06:24 INFO mapred.JobClient:   xiaobaozi
15/04/16 14:06:24 INFO mapred.JobClient:     endText=2
15/04/16 14:06:24 INFO mapred.JobClient:     startText=4
15/04/16 14:06:24 INFO mapred.JobClient:   FileSystemCounters
15/04/16 14:06:24 INFO mapred.JobClient:     FILE_BYTES_READ=1319
15/04/16 14:06:24 INFO mapred.JobClient:     HDFS_BYTES_READ=250
15/04/16 14:06:24 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=209690
15/04/16 14:06:24 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=19
15/04/16 14:06:24 INFO mapred.JobClient:   File Input Format Counters 
15/04/16 14:06:24 INFO mapred.JobClient:     Bytes Read=58
15/04/16 14:06:24 INFO mapred.JobClient:   Map-Reduce Framework
15/04/16 14:06:24 INFO mapred.JobClient:     Map output materialized bytes=130
15/04/16 14:06:24 INFO mapred.JobClient:     Map input records=4
15/04/16 14:06:24 INFO mapred.JobClient:     Reduce shuffle bytes=0
15/04/16 14:06:24 INFO mapred.JobClient:     Spilled Records=16
15/04/16 14:06:24 INFO mapred.JobClient:     Map output bytes=102
15/04/16 14:06:24 INFO mapred.JobClient:     Total committed heap usage (bytes)=682819584
15/04/16 14:06:24 INFO mapred.JobClient:     SPLIT_RAW_BYTES=202
15/04/16 14:06:24 INFO mapred.JobClient:     Combine input records=0
15/04/16 14:06:24 INFO mapred.JobClient:     Reduce input records=8
15/04/16 14:06:24 INFO mapred.JobClient:     Reduce input groups=3
15/04/16 14:06:24 INFO mapred.JobClient:     Combine output records=0
15/04/16 14:06:24 INFO mapred.JobClient:     Reduce output records=3
15/04/16 14:06:24 INFO mapred.JobClient:     Map output records=8



可以看到输出结果：

15/04/16 14:06:24 INFO mapred.JobClient: Counters: 21
15/04/16 14:06:24 INFO mapred.JobClient:   File Output Format Counters 
15/04/16 14:06:24 INFO mapred.JobClient:     Bytes Written=19
15/04/16 14:06:24 INFO mapred.JobClient:   xiaobaozi
15/04/16 14:06:24 INFO mapred.JobClient:     endText=2
15/04/16 14:06:24 INFO mapred.JobClient:     startText=4

关键代码：

			Counter counterForhello=context.getCounter("xiaobaozi", "startText");
			Counter counterForyou=context.getCounter("xiaobaozi", "endText");
			
			final String line = value.toString();
			if(line!=null){
				if(line.contains("hello")){
					counterForhello.increment(1);
				}
				if(line.contains("you")){
					counterForyou.increment(1);
				}
			}




礼彬fly
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce自定义k、分区和计数器
Imflash的博客
09-11 326
1.入门案例-WordCount 需求: 在一堆给定的文本文件中统计输出每一个单词出现的总次数 1. 数据格式准备 创建一个新的文件 cd /export/servers vim wordcount.txt 向其中放入以下内容并保存 hello,world,hadoop hive,sqoop,flume,hello kitty,tom,jerry,world hadoop 上传到...
HRCounter:Beat Saber Counters +自定义计数器通过使用pulsoid.net feed显示您的心律
03-16
Beat Saber Counters +自定义计数器，通过使用pulsoid.net feed显示您的心率。 要求 这些可以从或使用下载。 另外，您也可以从他们的github仓库下载它们。 v4.1.0 + v2.0.0 + 如何使用 确保所有必需的mod都正常...
【hadoop】用户自定义计数器
shuhuai007的专栏
03-31 1090
一、环境 1、hadoop 0.20.2 2、操作系统Linux 二、背景 1、最近写MR的代码，总在想统计一些错误的数据出现的次数，发现如果都写在reduce的输出里太难看了，所以想找办法专门输出一些统计数字。 2、翻看《hadoop权威指南》第8章第1节的时候发现能够自定义计数器，但都是基于0.19版本写的，好多函数都不对，改动相对较大。 3、基
单词计数程序
沉思录_xjg
10-01 594
package org.apache.hadoop.examples; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apa
第九章 MapReduce典型编程案例进阶之自定义计数器
weixin_51524477的博客
11-28 197
自定义计数
loadrunner_ORACLE自定义计数器
11-22
在loadrunner添加oracle的自定义计数器
javamap源码-HADOOP-COUNTER-SOURCE-CODE:在HadoopMapReduce编码中使用自定义计数器的Java程序
05-22
java map源码
简单的自定义数字计数器js代码
06-11
这是一款原生js制作的简单的自定义数字计数器代码，输入数字点击开始按钮进行计数。
js自定义数字计数器代码
07-24
js自定义数字计数器代码是一款原生js制作简单的输入数字开始计数器代码。
计数器与自定义计数器
lucky的专栏
01-15 675
https://www.cnblogs.com/edisonchou/p/4297599.html   实例： 链接：https://pan.baidu.com/s/1qeryRGn2oyXeyLSqabKBBA  提取码：5wia  复制这段内容后打开百度网盘手机App，操作更方便哦   关键代码： package com.example.demo.mapred; import ...
MapReduce的自定义计数器
热门推荐
tian_1_2_3的博客
11-30 1万+
1. 在map端使用计数器进行统计： import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; public class MapDemo01 extends Mapper<LongWritable, Text,Text,LongWritable> {
hadoop-14 自定义计数器
a3125504x的博客
06-09 245
计数器的作用 如果需要将日志信息传输到map或reduce任务， 比较好的方法之一是看能否用一个计数器值来记录某一特定事件的发生 获取计数器值比输出日志更方便，还有根据计数器值统计特定事件的发生次数要比分析一堆日志文件容易得多 hadoop内置计数器列表： 计数器 包 MapReduce任务计数器 org.apache.hadoop.mapreduce.TaskCounter 文件系统计数器 org.apache.hadoop.mapreduce.FileSystemCounter
大数据知识专栏 - MapReduce 自定义计数器技术
能力工场小马哥
01-20 162
大数据专栏系列文章: 今天告诉你如何通过玩转 MapReduce 计数器技术, 观察 MR 任务的执行
Hadoop自定义计数器的使用
Andrew的成长之路
07-01 1068
定义： hadoop计数器:可以让开发人员以全局的视角来审查程序的运行情况以及各项指标，及时做出错误诊断并进行相应处理。 内置计数器（MapReduce相关、文件系统相关和作业调度相关） 例子：（内置计数器） Counters: 19 File Output Format Counters
LaTeX 计数器
Xovee
03-21 5801
从本质上来说，一个 LaTeX 计数器即是“LaTeX 变量”，用来存储整数值。LaTeX 本身也用到了数字计数器来对页面、章节、图表、列表等元素进行编号。本文将会介绍如何获取和编辑这些计数器，以及如何去创建这些计数器。
java计数器占位符_Mapreduce之分区与自定义计数器
weixin_31913479的博客
02-28 116
Mepreduce分区分区概述在 MapReduce 中, 通过我们指定分区, 会将同一个分区的数据发送到同一个 Reduce 当中进行处理例如: 为了数据的统计, 可以把一批类似的数据发送到同一个 Reduce 当中, 在同一个 Reduce 当中统计相同类型的数据, 就可以实现类似的数据分区和统计等其实就是相同类型的数据, 有共性的数据, 送到一起去处理Reduce 当中默认的分区只有一个实战...
mapred代码示例--自定义计数器
jsh0401的专栏
09-01 118
package counter; import java.net.URI; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apach...
Hadoop之——自定义计数器
冰河的专栏
05-28 2603
1、Mapper类的实现 /** * KEYIN 即k1 表示行的偏移量 * VALUEIN 即v1 表示行文本内容 * KEYOUT 即k2 表示行中出现的单词 * VALUEOUT 即v2 表示行中出现的单词的次数，固定值1 */ static class MyMapper extends Mapper{ protected void map(LongWr
vue自定义计数器组件
最新发布
09-01
你可以通过Vue来创建一个自定义计数器组件。下面是一个简单的示例： ```html <button @click="decrement">- <span>{{ count }} <button @click="increment">+ export default { data() { return { ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值