摘要:
这篇文章提出自然语言处理涉及到自然语言理解和生成自然语言(understand and generate the text)。自然语言处理任务又分为:语音(听觉),语言形态、语法、语义、语用(语言的角度)。
自然语言任务细分为:自动生成文本摘要、共指消解、话语分析、命名实体识别、形态切分、字符识别、词性标注。
自动生成文本摘要(auto summarization):生成易于理解的文本摘要。
共指消解(coreference resulotion):识别一段对话或者文本中共同的实体(指代词的识别)。
话语分析(discourse analysis):识别连续连续文本的对话结构。
机器翻译(machine translation):将一种语言翻译为另一种语言。
形态切分(morphology segment):将单词切分为独立的部分(分词)。
实体识别(named entity recognition):决定在文本中物体的合适的名字。
字符识别(character recognition):识别图像中的文本。
词性标注(part of speech tagging):标注文本中词的词性。
自然语言的goal是适用于一个系统,即为系统提供自然语言处理的部分功能。
自然语言处理的层次:
自然语言层次理解是呈现自然语言处理过程的可解释性方法,NLP过程通过认识到内容规划、句子规划、短语规划产生NLP文本。
自然语言生成:
自然语言生成包括产生短语、句子、段落的过程,这个过程从内部表示是有意义的。自然语言生成包括鉴定目标、完成目标。(通过评估各种情况和可用的交流资源)。
自然语言生成的组成部分:
speaker and generator: 预处理应用的目的为短语。
Component and level of representation:内容选取、文本组织、生成的语料、生成文本意识。
application and speaker:生成应用或者speaker。
NLP应用:机器翻译、文本分类、垃圾过滤、信息提取、摘要生成、对话系统、医药。