hadoop计数器
计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器,记录数据或者进度的变化情况。
自定义Java计数器
1)MapReduce框架允许用户自定义计数器
2)计数器是一个全局变量
3)计数器有组的概念,可以用Java的枚举类型或者用字符串来定义
#java完整代码
package mr;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Counter;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
class Counters {
public static class MyCounterMap extends Mapper<LongWritable, Text, Text, Text> {
public static Counter ct = null;
protected void map(LongWritable key, Text value, org.apache.hadoop.mapreduce.Mapper<LongWritable, Text, Text, Text>.Context context) throws java.io.IOException, InterruptedException {
String arr_value[] = value.toString().split("\t");
if (arr_value.length > 3) {
ct = context.getCounter("ErrorCounter", "toolong");
} else if (arr_value.length < 3) {
ct = context.getCounter("ErrorCounter", "tooshort");
ct.increment(1);
}
}
}
public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
if (otherArgs.length != 2) {
System.err.println("Usage: Counters <in> <out>");
System.exit(2);
}
Job job = Job.getInstance(conf, "Counter");
job.setJarByClass(Counters.class);
job.setMapperClass(MyCounterMap.class);
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
#导入hadoop文件夹路径下的lib包。
1.点击file>Project Structure>Modules>+号>Library下的java找到你自己的lib文件然后ok。
2.打jar包
点击file>Project Structure>Artifacts>+号>jar找到rm的主类文件。
勾选Include project build然后ok
然后执行Build下的Build Project。
然后copy这个jar包
改名为wordcount.jar
用ftp上传到hadoop中。
1.启动hadoop
#start-all.sh
2.创建hadoop fs -mkdir -p /datas/in , hadoop fs -mkdir -p /datas/out
3.用hadoop fs -ls /datas查看你传的虚拟文件。
4.编写wordcount.txt文档
用ftp传到hadoop中。
5把上传到hadoop中的txt文档用hadoop fs -put wordcount.txt /datas/in上传到hdfs中
6.在你java的jar包路径下执行
hadoop jar wordcount.jar /datas/in/wordcount.txt /datas/out
这样就成功了。