花了几天时间,本地eclipse搭建成功了wordcount程序,其结构是:
eclipse跑WordCount小程序、调用大数据文件、单词计数、结果落地大数据。
搭建eclipse环境还是花了不少时间,大体的一些配置如下:
集成eclipse插件(网上可以找到):
首先项里的MR配置(本地地址,存放一些文件):
配置hadoop远程库(这个就好比plsql配置数据库地址一样):
以上3步配置完,在启动wordcount还是报了很多错误,参考以下链接文章:
http://zy19982004.iteye.com/blog/2024467
能遇到的问题基本都遇到了,主要问题还是jar包版本、大数据版本、hadoopHome下相关文件版本 不兼容导致。
笔主后面经过大量试错,调式成功了,点击图片下载相关文件(提取码:5gk9):
WordCount代码如下:
package com.dahui.mr;
import java.io.IOException;
import java.net.URI;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.log4j.PropertyConfigurator;
/**
* @author 方琼辉 20170515
* */
public class WordCount {
static{
PropertyConfigurator.configure("D:/HDFSHome/log4j.properties");
}
// 编写自己的Mapper,需要继承org.apache.hadoop.mapreduce.Mapper
public static class TokenizerMapper extends
Mapper<Object, Text, Text, IntWritable> { // 输入的<Key,Value>的类型,输出的<Key,Value>
// 作为类中成员变量
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
//FSOutputSummer
// key : offset 偏移量,几乎可以忽略
// value : one line string 一行的数据
// context : the context of computer 计算的上下文
public void map(Object key, Text value, Context context)
throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}
// 编写自己的Reducer,需要继承org.apache.hadoop.mapreduce.Reducer
public static class IntSumReducer extends
Reducer<Text, IntWritable, Text, IntWritable> {
private IntWritable result = new IntWritable();
public void reduce(Text key, Iterable<IntWritable> values,
Context context) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}
// 主函数开始运行JOB
public static void main(String[] args) throws Exception {
System.setProperty("hadoop.home.dir", "D:/HDFSHome");
Configuration conf = new Configuration();
Job job = Job.getInstance(conf, "word count");
job.setJarByClass(WordCount.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileSystem fs=FileSystem.get(new URI("hdfs://namenode:8020"), conf);
fs.delete(new Path("hdfs://namenode:8020/user/hdfs/test/wordcount/ous"),true);
FileInputFormat.addInputPath(job, new Path("hdfs://namenode:8020/user/hdfs/test/wordcount/ins"));
FileOutputFormat.setOutputPath(job, new Path("hdfs://namenode:8020/user/hdfs/test/wordcount/ous"));
//job.monitorAndPrintJob();
System.exit(job.waitForCompletion(true) ? 0 : 1); // 提交JOB成功,退出JVM虚拟机
}
}
现在本地eclipse可以欢快的debug进行代码跟踪,深入学习啦~~~~ 走到这一步也是着实不易。
带着以下几个问题,进行debug,代码跟踪:
#1. WordCount执行核心的类,相关研究。
#2. eclipse跑WordCount,MR是在远程大数据里跑的,还是在本地执行MR过程的? 若是在本地,MR源码细节。
#3. 写一个较复杂的类似于WordCount的demo。
以上3个问题。作为下一阶段的学习方向,后续博文也依次展开。