nlp - 自然语言处理(AI分支)

自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分 

自然语言处理主要应用于机器翻译、舆情监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别、中文OCR等方面 。

基本信息

• 中文名称

  自然语言处理

• 外文名称

  Natural Language Processing

• 缩写

  nlp

• 适用领域

  计算机、人工智能

目录	1任务和限制 2实际问题	3主要范畴 4研究难点

折叠编辑本段任务和限制

理论上，NLP是一种很吸引人的人机交互方式。早期的语言处理系统如SHRDLU，当它们处于一个有限的"积木世界"，运用有限的词汇表会话时，工作得相当好。这使得研究员们对此系统相当乐观，然而，当把这个系统拓展到充满了现实世界的含糊与不确定性的环境中时，他们很快丧失了信心。

由于理解(understanding)自然语言，需要关于外在世界的广泛知识以及运用这些知识的能力，自然语言认知，同时也被视为一个人工智能完备(AI-complete)的问题。同时，在自然语言处理中，"理解"的定义也变成一个主要的问题。有关理解定义问题的研究已经引发关注。

折叠编辑本段实际问题

一些NLP面临的问题实例:

句子"我们把香蕉给猴子，因为它们饿了"和"我们把香蕉给猴子，因为它们熟透了"有同样的结构。但是代词"它们"在第一句中指的是"猴子"，在第二句中指的是"香蕉"。如果不了解猴子和香蕉的属性，无法区分。

折叠编辑本段主要范畴

中文自动分词(Chinese word segmentation)

词性标注(Part-of-speech tagging)

句法分析(Parsing)

自然语言生成(Natural language generation)

文本分类(Text categorization)

信息检索(Information retrieval)

信息抽取(Information extraction)

文字校对(Text-proofing)

问答系统(Question answering)

机器翻译(Machine translation)

自动摘要(Automatic summarization)

文字蕴涵(Textual entailment)

折叠编辑本段研究难点

单词的边界界定

在口语中，词与词之间通常是连贯的，而界定字词边界通常使用的办法是取用能让给定的上下文最为通顺且在文法上无误的一种最佳组合。在书写上，汉语也没有词与词之间的边界。

词义的消歧

许多字词不单只有一个意思，因而我们必须选出使句意最为通顺的解释。

句法的模糊性

自然语言的文法通常是模棱两可的，针对一个句子通常可能会剖析(Parse)出多棵剖析树(Parse Tree)，而我们必须要仰赖语意及前后文的资讯才能在其中选择一棵最为适合的剖析树。

有瑕疵的或不规范的输入

例如语音处理时遇到外国口音或地方口音，或者在文本的处理中处理拼写，语法或者光学字符识别(OCR)的错误。

语言行为与计划

句子常常并不只是字面上的意思;例如，"你能把盐递过来吗"，一个好的回答应当是把盐递过去;在大多数上下文环境中，"能"将是糟糕的回答，虽说回答"不"或者"太远了我拿不到"也是可以接受的。再者，如果一门课程没开设，对于提问"这门课程有多少学生没通过?"回答"没开这门课"要比回答"没人没通过"好。