自然语言是指汉语、英语、法语等人们日常使用的语言,是自然而然的随着人类社会发 展演变而来的语言,而不是人造的语言,它是人类学习生活的重要工具。概括说来,自然语 言是指人类社会约定俗成的,区别于人工语言,如程序设计的语言。在整个人类历史上以语 言文字形式记载和流传的知识占到知识总量的 80%以上。就计算机应用而言,据统计,用于 数学计算的仅占 10%,用于过程控制的不到 5%,其余 85%左右都是用于语言文字的信息处 理。
处理包含理解、转化、生成等过程。自然语言处理,是指用计算机对自然语言的形、音、 义等信息进行处理,即对字、词、句、篇章的输入、输出、识别、分析、理解、生成等的操 作和加工。实现人机间的信息交流,是人工智能界、计算机科学和语言学界所共同关注的重 要问题。自然语言处理的具体表现形式包括机器翻译、文本摘要、文本分类、文本校对、信 息抽取、语音合成、语音识别等。可以说,自然语言处理就是要计算机理解自然语言,自然 语言处理机制涉及两个流程,包括自然语言理解和自然语言生成。自然语言理解是指计算机 能够理解自然语言文本的意义,自然语言生成则是指能以自然语言文本来表达给定的意图
.
自然语言的理解和分析是一个层次化的过程,许多语言学家把这一过程分为五个层次, 可以更好地体现语言本身的构成,五个层次分别是语音分析、词法分析、句法分析、语义分 析和语用分析。
语音分析是要根据音位规则,从语音流中区分出一个个独立的音素,再根据音位形态规 则找出音节及其对应的词素或词。
词法分析是找出词汇的各个词素,从中获得语言学的信息。
句法分析是对句子和短语的结构进行分析,目的是要找出词、短语等的相互关系以及各 自在句中的作用。
语义分析是找出词义、结构意义及其结合意义,从而确定语言所表达的真正含义或概念。
语用分析是研究语言所存在的外界环境对语言使用者所产生的影响。
在人工智能领域或者是语音信息处理领域中,学者们普遍认为采用图灵试验可以判断计 算机是否理解了某种自然语言,具体的判别标准有以下几条:
第一, 问答,机器人能正确回答输入文本中的有关问题;
第二, 文摘生成,机器有能力生成输入文本的摘要;
第三, 释义,机器能用不同的词语和句型来复述其输入的文本;
第四, 翻译,机器具有把一种语言翻译成另一种语言的能力。