mahout的数据处理--【根据文本文件创建vector】

mahout有根据目录下文本转换为Vectors的工具。

在创建vector前需要将文档转换为SequenceFile格式【hadoop存储文件的格式】。

SequenceFile是key--value形式的存储。

DocumentVectorizer 需要以unique类型为key，UTF-8格式的文本内容为value的数据格式。

您可能会发现有助于提卡（http://lucene.apache.org/tika）转换成二进制文件以文本。

mahout有一个漂亮的工具，它读取目录以及它的子目录以分块的方式为我们创建SequenceFile格式的数据。生成的文档的ID是<PREFIX><RELATIVE PATH FROM PARENT>/document.txt的形式。

运行的命令如下

$MAHOUT_HOME/bin/mahout seqdirectory \
--input <PARENT DIR WHERE DOCS ARE LOCATED> --output <OUTPUT DIRECTORY> \
<-c <CHARSET NAME OF THE INPUT DOCUMENTS> {UTF-8|cp1252|ascii...}> \
<-chunk <MAX SIZE OF EACH CHUNK in Megabytes> 64> \
<-prefix <PREFIX TO ADD TO THE DOCUMENT ID>>

将SequenceFile格式转换为vector格式的命令：

$MAHOUT_HOME/bin/mahout seq2sparse \
-i <PATH TO THE SEQUENCEFILES> -o <OUTPUT DIRECTORY WHERE VECTORS AND DICTIONARY IS GENERATED> \
<-wt <WEIGHTING METHOD USED> {tf|tfidf}> \
<-chunk <MAX SIZE OF DICTIONARY CHUNK IN MB TO KEEP IN MEMORY> 100> \
<-a <NAME OF THE LUCENE ANALYZER TO TOKENIZE THE DOCUMENT> org.apache.lucene.analysis.standard.StandardAnalyzer> \
<--minSupport <MINIMUM SUPPORT> 2> \
<--minDF <MINIMUM DOCUMENT FREQUENCY> 1> \
<--maxDFPercent <MAX PERCENTAGE OF DOCS FOR DF. VALUE BETWEEN 0-100> 99> \
<--norm <REFER TO L_2 NORM ABOVE>{INF|integer >= 0}>"
<-seq <Create SequentialAccessVectors>{false|true required for running some algorithms(LDA,Lanczos)}>"

- minSupport是被认为作为一个特征出现最小的频率的词。 - minDF是在一个词出现的最小的文件数。
- maxDFPercent是在一个文档中，一个良好特征需要的最大的表达式的值（一个词在文档中的频数/总的文档数）。这有助于消除高频率的特征，如停用词。