java 文本词频统计_利用word分词来对文本进行词频统计

命令行脚本的调用方法如下：

将需要统计词频的文本写入文件：text.txt

chmod +x wfs.sh & wfs.sh -textFile=text.txt -statisticsResultFile=statistics-result.txt

程序运行结束后打开文件statistics-result.txt查看词频统计结果

在程序中的调用方法如下：

//词频统计设置

WordFrequencyStatistics wordFrequencyStatistics = new WordFrequencyStatistics();

wordFrequencyStatistics.setRemoveStopWord(false);

wordFrequencyStatistics.setResultPath("word-frequency-statistics.txt");

wordFrequencyStatistics.setSegmentationAlgorithm(SegmentationAlgorithm.MaxNgramScore);

//开始分词

wordFrequencyStatistics.seg("明天下雨，结合成分子，明天有关于分子和原子的课程，下雨了也要去听课");

//输出词频统计结果

wordFrequencyStatistics.dump();

//准备文件

Files.write(Paths.get("text-to-seg.txt"), Arrays.asList("word分词是一个Java实现的分布式中文分词组件，提供了多种基于词典的分词算法，并利用ngram模型来消除歧义。"));</