二、自然语言处理发展历程

1.自然语言处理发展历程

自然语言处理的发展历程经历了兴起阶段、符号主义、连接主义和深度学习阶段。

  • 兴起阶段:自然语言处理的萌芽期,代表人物包括图灵和香农。
  • 符号主义:自然语言处理的发展器,代表任务是乔姆斯基和他的生成文法。
  • 连接主义:自然语言处理的发展器,代表方法为统计机器学习。
  • 深度学习:自然语言处理的鼎盛期,代表人物为深度学习三巨头:Yoshua Bengio、Yann LeCun、Geoffrey Hinton。
    在这里插入图片描述

2 兴起阶段

2.1 致命密码:一场关于语言的较量**

  • 苏格兰女王玛丽能使用了一种传统的文字加密形式 - 凯撒密码对她们之间的信件进行加密.
    在这里插入图片描述

2.3 自然语言处理的萌芽期

  • 兴起于1950年前后,在二次世界大战中,破解纳粹德国的恩尼格码成为了盟军对抗德国的重要战场,密码的破译使得盟军在西欧战场提前胜利2年.
    在这里插入图片描述

  • 1948年香农把马尔可夫过程模型(Markov Progrees)应用于建模自然语言,并提出把热力学中“熵”的概念扩展到到对信息进行建模。熵可以帮助人们对信息进行度量.

3 符号主义vs连接主义

3.1 符号主义

在这里插入图片描述

3.2 连接主义

  • 机器学习算法通过对原始的文本数据进行特征提取和构建模型,并使用机器学习算法对NLP的问题进行建模,具体过程如下图所示。
    在这里插入图片描述

4 深度学习

  • 从2006年深度神经网络反向传播算法的提出开始,伴随着互联网的爆炸式发展和计算机(特别是GPU )算力的进一步提高,自然语言处理领域迈入了深度学习时代。
  • 深度学习不再依赖于语言学知识和有限的标注数据,通过互联网记录的大规模数据,并结合深度神经网络的强大拟合能力,人们可以非常轻松地应对各种自然语言处理问题。
    在这里插入图片描述
  • 2
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值