深度学习初步认识[上]

深度学习初步认识[上]

什么是深度学习（Deep Learning）

人工智能、机器学习与深度学习

人工智能诞生于 20 世纪 50 年代,当时计算机科学这一新兴领域的少数先驱开始提出疑问:计算机是否能够“思考”? 我们今天仍在探索这一问题的答案。 人工智能的简洁定义如下:努力将通常由人类完成的智力任务自动化。 因此,人工智能是一个综合性的领域,不仅包括机器学习与深度学习,还包括更多不涉及学习的方法。

在经典的程序设计(即符号主义人工智能的范 式)中,人们输入的是规则(即程序)和需要根据这些规则进行处理的数据,系统输出的是答案。 利用机器学习,人们输入的是数据和从这些数据中预期得到的答案,系统输出的是规则。 这些规则随后可应用于新的数据,并使计算机自主生成答案。

总而言之，机器学习是让机器可以得到新的规则．不仅仅是依靠程序员的设定获取固定的答案．

深度学习是机器学习的一个分支领域:它是从数据中学习表示的一种新方法,强调从连续的层(layer)中进行学习,这些层对应于越来越有意义的表示。 “深度学习”中的“深度”指的并不是利用这种方法所获取的更深层次的理解,而是指一系列连续的表示层。 数据模型中包含多少层,这被称为模型的深度(depth)。

其他机器学习方法的重点往往是仅仅学习一两层的数据表示,因此有时也被称为浅层学习(shallow learning)。

在深度学习中,这些分层表示几乎总是通过叫作神经网络(neural network)的模型来学习得到的。

什么是神经网络

神经网络，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。

这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

注意：神经网络是从数据中学习表示的一种数学框架。并非大脑模型

神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），拥有输入层、输出层和一个隐含层。

输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。

早期感知机的推动者是Rosenblatt。

但是，Rosenblatt的单层感知机有一个严重得不能再严重的问题，即它对稍复杂一些的函数都无能为力, 比如最为典型的“异或”操作。

随着数学的发展，这个缺点直到上世纪八十年代才被Rumelhart、Williams、Hinton、LeCun等人发明的多层感知机（multilayer perceptron）克服。

多层感知机

也就形成了神经网络．Ｏ（∩＿∩）Ｏ

深度学习工作原理

第一步

神经网络中每层对输入数据所做的具体操作保存在该层的**权重(weight)**中,其本质是一串数字。 用术语来说,每层实现的变换由其权重来参数化。权重有时也被称为该层的参数(parameter)。 在这种语境下,学习的意思是为神经网络的所有层找到一组权重值,使得该网络能够将每个示例输入与其目标正确地一一对应。

可参考文章<<深度学习之(神经网络)单层感知器（python）（一）>>理解．

然而一个深度神经网络可能包含数千万个参数。

找到所有参数的正确取值可能是一项非常艰巨的任务,特别是考虑到修改某个参数值将会影响其他所有参数的行为。

第二步

想要控制神经网络的输出,就需要能够衡量该输出与预期值之间的距离。 这是**神经网络损失函数(loss function)**的任务,该函数也叫目标函数(objective function)。 损失函数的输入是网络预测值与真实目标值(即你希望网络输出的结果),然后计算一个距离值,衡量该网络在这个示例上的效果好坏。

第三步

最后利用这个距离值作为反馈信号来对权重值进行微调,以降低当前示例对应的损失值。 这种调节由优化器(optimizer)来完成,它实现了所谓的反向传播(backpropagation)算法,这是深度学习的核心算法。