深度学习之准备篇——人工智能、机器学习和深度学习简介

本文介绍了人工智能的起源和发展,重点讲解了机器学习和深度学习的概念。机器学习通过数据学习规律,而深度学习则是在人工神经网络基础上的表示学习方法,通过多层非线性变换提取抽象特征。深度学习的成功依赖于海量数据、灵活模型及强大计算力。
摘要由CSDN通过智能技术生成
1.什么是人工智能?

     在20世纪50年代,人工智能(Artificial Intelligence)作为计算机科学中一个分支学科就被提出和确立了,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。AI发展的终极目标就是某种机器运行的逻辑程序可以表现出与人类等价或者无法分辨的智能;也就是机器有自己的思维,能够进行思考。从实用的角度,AI就是要让计算机系统能够自动完成那些需要依靠人类智慧才能完成的工作。

     人工智能早期的思路与方法主要是用一系列规范的、形式化的数学规则来表示人类总结的知识,通过自动化的程序代替人类处理问题。这也是一种演绎的方法,通过既有的规则去推理模拟。例如专家系统(Konwledge-based expert system),在某一领域擅长的专家,将其知识和经验转化为一条规则,再将该规则转换为程序进行问题的处理;但问题是无限可能的和规范的,而规则却是有限的和多变复杂的。因此,早期人工智能取得成功的领域,往往都是具有明确规则和条件的问题,换句话说,就是待解决问题的所有情况都是可以被穷举出来的。但实际的情况,往往是难易表达清晰,而规则则必须是清晰明确的,因此规则去描述多数的实际问题是不现实的。

     随着人工智能的发展,基于概率统计的机器学习(或者称为模式识别)开始成为人工智能的主流方法。机器学习将大量真实世界产生的数据中具有代表性的样本,交给程序,让算法在数据中寻找和学习规律,通过这种方式得到的规律就是我们需要输入的规则,这也是一种归纳的方法。机器学习也是有其一定的假设,它假设样本数据的概率分布与真实世界的概率分布相同,即从一定规模的数据中学习到的规则也适用于真实世界中的一般情况;由此我们也可以知道,根据大数定律,用于学习的样本规模越大,样本数据的概率分布越接近真实世界的概率分布,我们最后得到的规则的适用性越好。

     由此,我们可以知道无论是专家系统还是机器学习都是人工智能的一个方向,只是它们基于不同的思想!

2.什么是机器学习?
      机器学习( Machine Learning)是人工智能发展到一定阶段的必然产物。二十世纪五十年代到七十年代初,人工智能研究一直处于“推理期”࿰
  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
深度学习 快速推进中的机器学习人工智能前沿 人工智能机器学习(1)全文共61页,当前为第1页。 提纲 深度学习(DL)及其应用前沿 DL在CV领域应用的启示 关键算法介绍 Perceptron及学习算法 MLP及其BP算法 Auto-Encoder CNN及其主要变种 关于DL的思考与讨论 2 人工智能机器学习(1)全文共61页,当前为第2页。 机器学习的基本任务 3 Class label (Classification) Vector (Estimation) {dog, cat, horse,, …} Object recognition Super resolution Low-resolution image High-resolution image 人工智能机器学习(1)全文共61页,当前为第3页。 源起——生物神经系统的启示 神经元之间通过突触(synapse)连接 层级感受野,学习使突触连接增强或变弱甚至消失 4 Hubel, D. H. & Wiesel, T. N. (1962) 人工智能机器学习(1)全文共61页,当前为第4页。 第一代神经网络 感知机(Perceptrons)模型[Rosenblatt, 1957] 二类分类,单个神经元的功能(输入输出关系) = f为激活函数,其中: = =1 = =0 5 Frank Rosenblatt(1957), The Perceptron--a perceiving and recognizing automaton. Report 85-460-1, Cornell Aeronautical Laboratory. 人工智能机器学习(1)全文共61页,当前为第5页。 第一代神经网络 单层感知机(Perceptrons)模型的局限性 Minsky & Papert的专著Perceptron(1969) 只能对线性可分的模式进行分类 解决不了异或问题 几乎宣判了这类模型的死刑,导致了随后多年NN研究的低潮 6 人工智能机器学习(1)全文共61页,当前为第6页。 2nd Generation Neural Networks 多层感知机(Multi-layer Perceptron, MLP) 超过1层的hidden layers(正确输出未知的层) BP算法 [Rumelhart et al., 1986] Compute error signal; Then, back-propagate error signal to get derivatives for learning 7 David E. Rumelhart,, Geoffrey E. Hinton, and Ronald J. Williams. (Oct.1986). "Learning representations by back-propagating errors". Nature 323 (6088): 533–536 Ʃ Ʃ Ʃ Ʃ Ʃ Ʃ 1 2 3 1 2 人工智能机器学习(1)全文共61页,当前为第7页。 Error Backpropagation W is the parameter of the network; J is the objective function Feedforward operation Back error propagation David E. Rumelhart,, Geoffrey E. Hinton, and Ronald J. Williams. (Oct.1986). "Learning representations by back-propagating errors". Nature 323 (6088): 533–536 Output layer Hidden layers Input layer Target values 人工智能机器学习(1)全文共61页,当前为第8页。 2nd Generation Neural Networks 理论上多层好 两层权重即可逼近任何连续函数映射 遗憾的是,训练困难 It requires labeled training data Almost all data is unlabeled. The learning time does not scale well It is very slow in networks with multiple hidden layers. It can get stuck in poor local optima These are often quite good, but for deep nets they are far
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值