mahout中bayes分类分析—1

实现包括三部分：The Trainer（训练器）、The Model（模型）、The Classifier（分类器）

1、训练

首先，要对输入数据进行预处理，转化成Bayes M/R job读入数据要求的格式，即训练器输入的数据是KeyValueTextInputFormat格式，第一个字符是类标签，剩余的是特征属性（即单词）。以20个新闻的例子来说，从官网上下载的原始数据是一个分类目录，下面每个文件夹名就是类标签，里面是属于此类的一些文档（一个文件是一篇文章）。mahout通过org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups对数据进行预处理，完成的工作是对于原始的一个分类目录下面的所有文件，依次遍历，并将目录名作为类别名，就这样完成了inputDir－－>outputFile的转变。如果要处理html文件的话，那么就需要在BayesFileFormatter调用html clean，extract body text的过程，生成cleaned text。

PrepareTwentyNewsgroups调用org.apache.mahout.classifier.BayesFileFormatter和org.apache.lucene.analysis.standard.StandardAnalyzer进行分析处理，将数据转换成了：类标签作为一个文件的名字，文件里每一个行（一个回车算一行）是包含在此类中的一篇文章（格式是：类标签一篇文章中的所有单词）。

BayesFileFormatter的作用是把一个目录里的所有文件转换成一个文件，label \t content其中的文件内容全部经过tokenize，词之间加入空格，存入content。BayesFileFormatter.collapse的作用是将一个目录的所有文件加上label处理成MapReduce所需要的按行处理的文件格式,变成1个文件。

其次，调用org.apache.mahout.classifier.bayes.TrainClassifier进行训练，结果生成newsmodel。

这个类会根据命令行参数调用两个训练器：trainCNaiveBayes和trainNaiveBayes，其中trainCNaiveBayes函数调用CBayesDriver类；trainNaiveBayes调用BayesDriver类。

这里只分析org.apache.mahout.classifier.bayes.mapreduce.bayes.BayesDriver类，它实现了BayesJob接口，在runJob函数里调用4个map/reduce作业类：

第一个：BayesFeatureDriver负责Read the features in each document normalized by length of each document

第二个：BayesTfIdfDriver负责Calculate the TfIdf for each word in each label

第三个：BayesWeightSummerDriver负责alculate the Sums of weights for each label, for each feature

第四个：BayesThetaNormalizerDriver负责：Calculate the normalization factor Sigma_W_ij for each complement class

以20-news的例子分别分析这四个类：

⑴BayesFeatureDriver

所在包：packageorg.apache.mahout.classifier.bayes.mapreduce.common;

输入格式：KeyValueTextInputFormat.class

输出格式：BayesFeatureOutputFormat.class

输出key类型：StringTuple.class

输出value类型：DoubleWritable.class

Map：BayesFeatureMapper.class

Reduce：BayesFeatureReducer.class

注意：BayesFeatureDriver可以独立运行，默认的输入和输出：（没有试过，不知道可不可以独立运行，里面有main函数，应该是可以的，不过本人水平有限，目前不会）

input=new Path("/home/drew/mahout/bayes/20news-input");

output=newPath("/home/drew/mahout/bayes/20-news-features");

p=new BayesParameters(1) gramsize默认为1

BayesFeatureOutputFormat继承了MultipleOutputFormat，定义了产生的四个文件路径及名字，文件的格式还是SequenceFileOutputFormat.：

$OUTPUT/trainer-wordFreq

$OUTPUT/trainer-termDocCount

$OUTPUT/trainer-featureCount

$OUTPUT/trainer-docCount

①BayesFeatureMapper的输出为：

一行一个map，根据数据处理的格式即一篇文章一个map，以下的label指类标签，token是属性即单词，dKJ是某token在本篇文章中出现的次数，∑dKJ²是本篇文章中所有token出现次数的平方和，以下及后面的表格是觉得看着清楚自己画的，输出时只是里面的内容，例如：_WT,label,token空格value的值

 

 

key

 

value

 

_WT,label,token

 

Log[(1.0+dKJ)/（∑dKJ2）1/2]即为某词在一个文档中的TF值   通俗点就是：Log[(1.0+某属性在本篇文章中出现的次数)/（本篇文章中所有属性出现次数的平方和）1/2]

 

_DF,label,token

 

1.0

 

_FC,token

 

1.0

 

_LC,label

 

1.0

 

②BayesFeatureReducer的输出为：

相同的key放在一个reduce里执行合并

 

 

key

 

value

 

输出

 

_WT,label,token

 

∑Log[(1.0+dKJ)/（∑dKJ2）1/2]即某类中某属性的TF值

 

trainer-wordFreq

 

_DF,label,token

 

某label中出现某token的文档数

 

trainer-termDocCount

 

_FC,token

 

所有训练集文章中出现某token的文档数

 

trainer-featureCount

 

_LC,label

 

某label下的文档数

 

trainer-docCount

 

_FT,token

 

与_FC的value一样

 

没输出且只在mhaout-0.4里出现这部分计算，0.3里没有

 

⑵BayesTfIdfDriver

输入格式：SequenceFileInputFormat.class

输出格式：BayesTfIdfOutPutFormat.class

输出key类型：StringTuple.class

输出value类型：DoubleWritable.class

输入路径：就是第一个map/reduce生成的trainer-wordFreq、trainer-termDocCount、trainer-featureCount文件

输出：trainer-tfIdf文件

Map：BayesTfIdfMapper.class

Reduce：BayesTfIdfReducer.class

根据BayesFeatureReducer的输出文件计算TF-IDF值，但是只调用了以上的trainer-wordFreq、trainer-termDocCount、trainer-featureCount三个文件，计算完毕后会删除这些中间文件（目前还没搞懂在哪删除的，只看见bayesDriver里面有把），并生成两个文件trainer-tfIdf和trainer-vocabCount（BayesTfIdfOutPutFormat里有）。

①BayesTfIdfMapper的输出为：

TF值是调用trainer-wordFreq中的value

Idf=某类下的文档数/某类下出现该token的文档数

其中某类下出现该token的文档数是调用trainer-termDocCount中的value

 

key

 

value

 

_WT,label,token

 

TF值

 

_WT,label,token

 

logidf

 

_FS

 

1.0

②BayesTfIdfReducer的输出为：

 

key

 

value

 

输出

 

_WT,label,token

 

TF×logidf

 

trainer-tfidf

 

_FS

 

属性总数

 

trainer-VocabCount

⑶BayesWeightSummerDriver

输入文件格式：SequenceFileInputFormat.class

输出文件格式：BayesWeightSummerOutputFormat.class

输出key：StringTuple.class

输出value：DoubleWritable.class

输入路径：是第二个map/reduce生成的trainer-tfIdf文件

输出：trainer-weights文件

Map：BayesWeightSummerMapper.class

Reduce：BayesWeightSummerReducer.class

这里只调用了第二个map/reduce生成的trainer-tfIdf，没有调trainer-VocabCount

①BayesWeightSummerMapper的输出为：

 

key

 

value

 

_SJ,token

 

TFIdf值

 

_SK,label

 

TFIdf值

 

_SJSK

 

TFIdf值

②BayesWeightSummerReducer的输出为：

 

key

 

value

 

输出

 

_SJ,token

 

某属性的全部TFIdf总和

 

Sigma_j

 

_SK,label

 

某类下的所有属性的TFIdf总和

 

Sigma_k

 

_SJSK

 

所有的TFIdf值

 

Sigma_kSigma_j

⑷BayesThetaNormalizerDriver

输入文件格式：SequenceFileInputFormat.class

输出文件格式：SequenceFileOutputFormat.class

输出key：StringTuple.class

输出value：DoubleWritable.class

输入路径： 第二个map/reduce生成的trainer-tfIdf/下的trainer-tfIdf和trainer-VocabCount，以及trainer-weights/的Sigma_k和Sigma_kSigma_j

输出：trainer-thetaNormalizer文件

①BayesWeightSummerMapper的输出为：

Log里的分子中TFIdf是某类下某属性的TFIdf值，分母中VocabCount是属性总数

 

key

 

value

 

_LTN,label

 

Log[(TFIdf+1.0)/(sigma_k+VocabCount)]

②BayesWeightSummerReducer的输出为：

将Map的结果合并

 

key

 

value

 

_LTN,label

 

ΣLog[(TFIdf+1.0)/(sigma_k+VocabCount)]