怎样使用NLPIR平台进行文本分析

自然语言处理是计算机对自然语言 所包含的字形、读音和含义等信息进行处理，包括对字、词、句和篇章的输入输 出、识别分析、理解生成等操作和加工，是当前人工智能研究的核心课题之一。NLPIR大数据语义智能分析平台是一个全链条的分析工具，今天为大家详细介绍一下NLPIR平台的自然语言处理部分的功能。
语言统计 语言统计功能针对切分标注结果，系统可以自动地进行一元词频统计、二元 词语转移概率统计（统计两个词左右连接的频次即概率）。针对常用的术语，会自 动给出相应的英文解释。词频统计及翻译分析结果有四个Excel输出文件。其中， 一元概率指的是单个词独立出现的概率，信息熵指的是该词包含的信息广度，其 公式为：H(X)=–∑P(X)logP(X)。 n 1
（1）按词频排序的统计结果文件
按词频排序的统计内容如下，包括：词语、词性、词频、一元概率、信息熵 与译文。
（2）按字典排序的词频统计文件 输出到一个名为FreqSortByWord的文件，按字典排序词频统计结果包括：词 频统计结果（总词数与平均频率）、词语、词性、词频、一元概率与信息熵。
（3）Bigrams输出文件 输出到一个名为Bigrams的文件，Bigrams结果包括：二元词对总数、前一个词、 后一个词、共现频次与二元词对信息熵。共现频次指的是两个词以前后顺序同时出 现的频率，二元词对信息熵指的是这两个词包含的信息广度。
（4）文件统计信息输出文件 文件统计结果包括：文档名、总词频、总词数、用户词典总词频与用户词典 总词数。