第4章 NLP基础——4.1NLP基础，4.2分词技术，4.3词性标注，4.4命名实体识别

1.什么是NLP

      natural language processing, 探讨如何处理及运用自然语言，包括语音和文字。让电脑懂人类的语言。

      范围：文本分析、信息检索、词性标注、问答系统、邮件回复、文本分类、文本鉴别（涉黄、反动）等。

（1）词法分析

a.分词技术

b.词性标注

      是指为分词结果中的每个单词标注一个正确的词性的程序，也即确定每个词是名词、动词、形容词或者其他词性的过程。形容词a，名词n，副词d，人称代词rr，动词v

      中科院，语义分词标注在线工具。

c.命名实体识别（Named Entity Recognition, NER）

      是指识别文本中具有特定意义的实体，主要包括扩人名、地名、机构名、专有名词等。

     是信息提取、问答系统、句法分析、机器翻译、面向Semantic Web的元数据标注等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要地位。

      NER的任务就是识别出待处理文本中三大类（实体类、时间类和数字类）、七小类（人名、机构名、地名、时间、日期、货币和百分比）命名实体。

识别步骤：实体边界识别，确定实体类别（英文实体、中文实体）。

词切分：

--基于规则和词典的方法（不科学）

--基于统计的方法

       >>隐马尔可夫模型HiddenMarkovMode,HMM

       >>较大熵MaxmiumEntropy, ME

       >>支持向量机Support VectorMachine, SVM

       >>条件随机场ConditionalRandom Fields, CRF

d.词义消歧，具有多种意思的词，明确

举例，今天的天气非常晴朗，我和小伙伴们一起去足球场踢足球。

（2）句法分析

（3）语义分析

2.RNN和LSTM

3.NLP语言模型

4.语料库的获取和建立

5.Word2Vec

6.文本处理方法