深度学习理论篇之 ( 八) -- 温故知新 迎风云再起

科普知识

激活函数(Activation functions)对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增加神经网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就算叠加了若干层之后，还是个矩阵相乘。

前言

之前的文章中，我们学习了深度学习中有关神经网络的基本理论，并用数学公式推导的方式讲解了神经网络是如何计算，又如何进行学习的，可能学起来有点枯燥，这个时候其实有个实际的项目展示是很不错，不急，我们后期就会安排上，然而，不得不说，之前的学习仅仅是入门的知识，就连我们之前学习的神经网络（也叫全连接网络）也是最简单的类型，后面还有各种类型的神经网络需要我们去不断学习，鉴于后期的学习比之前的稍微进了一步，也更加的复杂，今天，我们先来总结一下之前学习过程中大家还有点模糊的地方，为之后打下更加坚实的基础。

此间，温故而知新，他日，无畏风云再起........

一、温故知新

深度学习的入门知识其实比较多，之前的文章中可能忽略了一些细节，小编也是在学习的过程中，如有遗漏还望各位大佬不吝赐教，下面将会对之前的文章进行一系列问答式总结，尽量用最简单的方式展开，望各位都能看懂。

1.1 深度神经网络结构图

1.2 深度学习与机器学习、人工智能的关系？

答：他们之间是一个包括的关系，人工智能包含了机器学习，机器学习包含了深度学习。人工智能是一个广泛的概念，机器学习是一种实现人工智能的算法，而深度学习是机器学习算法的一种扩展，是升级版的机器学习，因此，在深度学习出现以后，机器学习也被称为传统的机器学习。

1.3 深度学习为什么诞生？

答：这个问题可以换位为深度学习的作用为何？在深度学习之前，几乎所有的人工智能项目都是使用机器学习的方法，然而，随着时代的发展，社会的进步，需要实现的人工智能任务变得十分的复杂，需要处理的数据也变得海量，要求的精度、速度等性能也越来越高，因此，一种新的机器学习技术的诞生变得尤为重要，我们都知道，传统的机器学习需要定义一些手工特征，从而有目的的去提取目标信息， 非常依赖任务的特异性以及设计特征的专家经验。而深度学习可以从大数据中先学习简单的特征，并从其逐渐学习到更为复杂抽象的深层特征，不依赖人工的特征工程，这也是深度学习在大数据时代受欢迎的一大原因。

1.4 深度学习之”深“，如何理解？

答：深度学习深主要体现在深层网络上面，理论上说，越深的深度学习网络更能够学习到数据的深层特征，而深度学习中的的深层网络主要体现在隐藏层的层数较多，因此，将浅层学习的隐藏层进行加深即可理解为深度学习。

1.5 深度学习是如何进行学习的？

答：要回答这个问题，我们首先要知道，深度学习中需要学习的参数是权重w，这个权重分布在隐藏层，输出层，为什么需要学习权重呢？因为，学习到了适合的权重，我们就可以根据该权重与输入数据之间的计算关系计算出输出，而这个输出就是我们想要得到的，那么权重是如何学习的呢？还记得之前我们之前举过的例子吗？在不知道如何学习之前，我们可以根据此刻网络的输出与真实值之间的误差大小采用猜测和经验设计的方法，然而，这样的方法费时费力，不太好使，之后数学理论的发展解决了这一问题，我们通过梯度下降算法来学习权重（权重的不断更新即为学习过程），只要通过适当的训练策略，加上梯度下降算法，理论上说，神经网络的权重够进行很好的学习，最终到达我们想要的结果。

1.6 深度学习的输入层 隐藏层 输出层是什么？

答：深度学习中输入层主要是对数据的预处理，并使得数据的输入维度匹配隐藏层的输入维度，隐藏层只要对输入的数据进行深层次的特征提取，输出层通常对隐藏层输出的特征进行分类或者预测，其结果通常作为模型的输出结果并与输入数据的真实值进行计算误差，从而进行权重更新。

1.7 梯度下降算法的简要过程

答：梯度下降算法通过计算模型的输出与数据的真实值之间的误差，用误差函数对权重进行求导，最后用上一次学习得到的权重减去当前求导值乘上学习率的结果就得到当前的更新权重，更新权重将会应用到下一次的神经网络计算中。一般流程：

1. 用随机值初始化权重和偏差

2. 把输入传入网络，得到输出值

3. 计算预测值和真实值之间的误差

4. 对每一个产生误差的神经元，调整相应的（权重）值以减小误差

5. 重复迭代，直至得到网络权重的最佳值

1.8 前向传播、反向传播、反向传播与梯度下降算法的关系

 答：神经网络的前向计算过程称之为前向传播，通过误差函数对神经网络的权重进行更新的过程称之为反向传播，反向传播算法是一个统称，梯度下降算法是一个

1.9 神经网络中的学习率是用来做什么的？

答：将输出误差反向传播给网络参数，以此来拟合样本的输出。本质上是最优化的一个过程，逐步趋向于最优解。但是每一次更新参数利用多少误差，就需要通过一个参数来控制，这个参数就是学习率（Learning rate）,也称为步长。

二、风云再起

前面的神经网络学习是后面的各种神经网络的学习，并且难度稍微有了提高，但是却更加的好玩，因此，即使风云再起，我们依旧要学会保持从容和淡定，面对未来，无所畏惧。。。

下面请欣赏我们后期会设计到的神经网络，别的不说，反正图很漂亮就对了……

2.1 卷积神经网络

2.2 密集连接网络

结语：

本期文章没有新的内容，有的仅仅是对之前文章的一些总结，并对之后的学习进行了一点透露，希望大家通过本次总结对之前的学习有一个整体上的把握，如此，后期的学习将会更进一步。

编辑：玥怡居士|审核：小圈圈居士

●深度学习理论篇之 (七) -- 反向传播

●深度学习理论篇之 (六) -- 初出茅庐的神经网络

●深度学习理论篇之 (五) -- 梯度下降算法的数学推导

扫码关注我们

IT进阶之旅

我知道你在看哦