自然语言理解层次(摘自《2018自然语言处理研究报告》)
自然语言处理技术分类(摘自《2018自然语言处理研究报告》)
下面几张图摘录自:CIPS2016 中文信息处理报告
nlp整体架构
词法分析
- 中文分词
- 中文分词
句法分析
句法分析通常有完全句法分析和浅层句法分析两种,完全句法分析是通过一系列的句法分析过程最终得到一个句子的完整的句法树,而浅层句法分析(shallow parsing)也叫部分句法分析(partial parsing)或语块分析(chunk parsing),它不要求得到完全的句法分析树,只要求识别其中的某些结构相对简单的成分,如非递归的名词短语、动词短语等。这些识别出来的结构通常被称作语块(chunk),语块和短语这两个概念通常可以换用。
浅层句法分析又可分为会完成语块的识别和分析、语块之间依存关系的分析两个任务,其中语块的识别和分析是浅层语法分析的主要任务。语义分析
语义分析是指根据句子的句法结构和句子中每个实词的词义推导出来能够反映这个句子意义的某种形式化表示,将人类能够理解的自然语言转化为计算机能够理解的形式语言。句子的分析与处理过程,有的采用“先句法后语义”的方法,但“句法语义一体化”的策略还是占据主流位置。