运用hadoop计算TF-IDF

(http://youzitool.com 新博客，欢迎访问)

这几天一直在忙着找暑假实习，实在没精力来写新的文章。刚好这几天放假，我把前几天做了的另一个例子拿出来跟大家分享一下。

这个例子是使用hadoop来实现TF-IDF。

TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。具体的信息就麻烦大家自己百度一下了。

因为要实现的细节比较多，所以我直接将代码放上来。大家可以参看代码里面的注释，我写的比较详细。

我采用了两个MapReduce任务顺序执行来实现TF-IDF功能。

public class My_TDIF { //part1------------------------------------------------------------------------ public static class Mapper_Part1 extends Mapper<LongWritable, Text, Text, Text> { String File_name = ""; //保存文件名，根据文件名区分所属文件 int all = 0; //单词总数统计 static Text one = new Text("1"); String word; public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { FileSplit split = (FileSplit) context.getInputSplit(); String str = split.getPath().toString(); File_name = str.substring(str.lastIndexOf("/")+1); //获取文件名 StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word = File_name ; word += " "; word += itr.nextToken(); //将文件名加单