自然语言处理NLP简介

NLP简介

1 引言

人工智能、机器学习、深度学习

人工智能：所有致力于模仿人类或与人脑认知相关联的研究总称

机器学习：是人工智能的子集,是一种实现人工智能的方法,利用经验(数据)自动改进的计算机算法

深度学习：是一种实现机器学习的技术,基于人工神经网络与表示学习的机器学习算法

什么是自然语言处理？

维基百科：自然语言处理（NLP）是语言学、计算机科学、信息工程和人工智能的一个分支领域，研究计算机和人类（自然）语言之间的相互作用，特别是如何编写计算机程序来处理和分析大量的自然语言数据。自然语言处理的挑战通常涉及语音识别、自然语言理解和自然语言生成。

关键词:自然语言处理；语言学；计算机科学；信息工程；人工智能；语音识别；自然语言理解；自然语言生成

人工智能的流派

1.符号主义(Symbolism)

又称为逻辑主义、心理学派或计算机学派,是指通过分析人类智能的功能,然后用计算机来实现这些功能的一类方法。

特点：信息可以用符号来表示；符号可以通过显示的规则(比如逻辑运算)来操作

2.连接主义(Connectionism)

又称仿生学派或生理学派,是认知科学领域中的一类信息处理的方法和理论。连接主义认为人类的认知过程是神经网络中的信息处理过程.

特点：非线性、分布式、并行化；局部性计算、自适应性特点

3.行为主义(Acitionism)

又称为进化主义或是控制论学派,其原理为控制论及感知-动作型控制系统,是指利用计算机模拟人在控制过程中的智能行为和作用。

特点：工程控制论和生物控制论；与环境交互

2 NLP发展历史

人工智能发展历史

人工智能从诞生到今天,经历了一次又一次的繁荣与低谷,其发展历程大体上可以分为:推理期、知识期、学习期三个大的主要历史时期。

推理期

1950年,艾伦图灵提出图灵測试：如果电脑能在5分钟内回答由人类测试者提出的一系列问题,并且有超过30%的回答让测试者误认为是人类所回答,那么测试通过。

1954年, Georgetown实验：乔治敦大学和IBM联手演示了将60句俄语自动翻译成英语，包含6个语法规则和250个词，计划5年之内完全从一种语言到另外一种语言的自动翻译问题。

1964-1966年, ALPAC报告:美国科学院成立语言自动处理咨询委员会综合调查分析和报告,在1966年底,公布《语言与机器》也就是ALPAC报告。终结了机器翻译的时代。

1964-1966年,ELZA聊天机器人:第一个通过图灵测试的聊天机器人。

1950-1965年是推理期。大部分早期研究者都通过人类的经验,基于逻辑或者事实归纳出来一些规则,然后通过编写程序来让计算机完成一个任务。这个时期中,研究者开发了一系列的智能系统，比如几何定理证明器、语言翻译器等。这些初步的研究成果也使得研究者对开发出具有人类智能的机器过于乐观,低估了实现人工智能的难度。随着硏究的深入,硏究者意识到这些推理规则过于简单,对项目难度的评估不足，原来的乐观预期受到严重打击，人工智能的研究开始陷入低谷,很多人工智能项目的研究经费也被削减。

知识期

20世纪70年代,研究者意识到知识对于人工智能系统的重要性,提出了专家系统(Expert System)。

三要素:(1)领域专家知识；(2)模拟专家思维；(3)达到专家级水平。因此也被称为基于知识的系统。

1970年,能够分析语义、理解语言的系统诞生。美国斯坦福大学计算机教授维诺格拉德开发的人机对话系统SHRDLU,能分析指令。由于能正确理解语被视为人工智能研究的一次巨大成功。

1976年,专家系统广泛使用。美国斯坦福大学肖特里夫等人发布的医疗咨询系统MYCIN,可用于对传染性血液病患诊断。这一时期还陆续研制出了用于生产制造、财务会计、金融等个领域的专家系统。

1981年,第五代计算机项目研发。日本率先拨款支持,目标是制造出能够与人对话、翻译语言、解释图像,并能像人一样推理的机器。随后,英美等国也开始为AI和信息技术领域的研究提供大量资金。

1984年,大百科全书(cyc)项目。Cyc项目试图将人类拥有的所有一般性知识都输入计算机,建立一个巨型数据库,并在此基础上实现知识推理,它的目标是让人工智能的应用能够以类似人类推理的方式工作,成为人工智能领域的一个全新研发方向。

1970-1985年是知识期。通过模拟专家思维建立专家系统,利用知识库+推理机,是一类具有专门知识和经验的计算机智能程序系统。专家系统一般采用知识表示和知识推理等技术来完成通常由领域专家才能解決的复杂问题。

学习期

1997年,深蓝战胜国际象棋世界冠军。IBM公司的国际象棋电脑深蓝Deepblue战胜了国际象棋世界冠军卡斯帕罗夫。它的运算速度为每秒2亿步棋,并存有70万份大师对战的棋局数据,可搜寻并估计随后的12步棋。

2006年,Hinton提出深度学习的神经网络。

2011年,Watson参加智力问答节目。

2011年,苹果Siri问世,技术上不断创新。

2012年,谷歌的无人驾驶汽车上路。

2013年,深度学习算法在语音与视觉识别上取得重大突破。

2016年,谷歌Deepmind开发的Alphago人工智能围棋程序战胜围棋冠军。

2016年,百度大脑计划。利用计算机技术模拟人脑,已经可以做到孩子的智力水平。四大功能:语音、图像、自然语言处理、用户画像。

2020年,GPT-3已经在自然语言处理取得巨大突破。

文本的预训练可分为两个重要的时期

一个时期是预训练词