资源|开发 NLP | ML | DM 的Java工具包汇总

自然语言处理

• CoreNLP：斯坦福大学的CoreNLP提供一系列的自然语言处理工具，输入原始英语文本，可以给出单词的基本形式（下面Stanford开头的几个工具都包含其中)。（https://nlp.stanford.edu/software/corenlp.shtml）

• Stanford Parser：一个自然语言解析器。（https://nlp.stanford.edu/software/lex-parser.shtml）

• Stanford POS Tagger：一个词性分类器。（https://nlp.stanford.edu/software/tagger.shtml）

• Stanford Name Entity Recognizer：Java实现的名称识别器。（https://nlp.stanford.edu/software/CRF-NER.shtml）

• Stanford Word Segmenter：分词器，很多NLP工作中都要用到的标准预处理步骤。（https://nlp.stanford.edu/software/segmenter.shtml）

• Tregex、Tsurgeon与Semgrex：用来在树状数据结构中进行模式匹配，基于树关系以及节点匹配的正则表达式（名字是“tree regular expressions"的缩写）（https://nlp.stanford.edu/software/tregex.shtml）

• Stanford Phrasal：最新的基于统计短语的机器翻译系统，java编写。（https://nlp.stanford.edu/phrasal/）

• Stanford Tokens Regex：用以定义文本模式的框架。（https://nlp.stanford.edu/software/tokensregex.shtml）

• Stanford Temporal Tagger：SUTime是一个识别并标准化时间表达式的库。（https://nlp.stanford.edu/software/sutime.shtml）

• Stanford SPIED：在种子集上使用模式，以迭代方式从无标签文本中学习字符实体。（https://nlp.stanford.edu/software/patternslearning.shtml）

• Stanford Topic Modeling Toolbox：为社会科学家及其他希望分析数据集的人员提供的主题建模工具。（https://nlp.stanford.edu/software/tmt/tmt-0.4/）

• Twitter Text Java：Java实现的推特文本处理库。（https://github.com/twitter/twitter-text-java）

• MALLET：基于Java的统计自然语言处理、文档分类、聚类、主题建模、信息提取以及其他机器学习文本应用包。（http://mallet.cs.umass.edu/）

• OpenNLP：处理自然语言文本的机器学习工具包。（http://hao.jobbole.com/apache-opennlp/）

• LingPipe：使用计算机语言学处理文本的工具包。（http://alias-i.com/lingpipe/index.html）

通用机器学习

• MLlib in Apache Spark：Spark中的分布式机器学习程序库。（http://spark.apache.org/docs/latest/mllib-guide.html）

• Mahout：分布式的机器学习库。（https://github.com/apache/mahout）

• Stanford Classifier：斯坦福大学的分类器。（https://nlp.stanford.edu/software/classifier.shtml）

• Weka：Weka是数据挖掘方面的机器学习算法集。（http://www.cs.waikato.ac.nz/ml/weka/）

• ORYX：提供一个简单的大规模实时机器学习/预测分析基础架构。（https://github.com/cloudera/oryx）

数据分析/数据可视化

• Hadoop：大数据分析平台。（https://github.com/apache/hadoop-mapreduce）

• Spark：快速通用的大规模数据处理引擎。（https://github.com/apache/spark）

• Impala：为Hadoop实现实时查询。（https://github.com/cloudera/impala）