深度学习基础

1、什么是损失函数或代价函数？

损失函数或代价函数是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。

2、神经网络中的信号是如何传递的呢？

正向传播，核心思路：传递的过程其实就是矩阵的乘法以及计算加权平均后经过激活函数就完成了依次传递。

3、激活函数为什么不能使用线性函数？

线性函数问题在于不管如何加深层数，总是存在与之等效的“无隐藏层的神经网络”。

例如：=, 网络 

同样处理，（其中 来处理），（即没有隐藏层）的神经网络。

4、怎么找到损失函数最小值？

机器学习的主要任务是在学习时找最优参数，同样地，神经网络也必须在学习时找到最优参数（权重和偏置）这里所说的最优参数是指损失函数取最小值时的函数，但一般而言，损失函数很复杂，参数空间庞大，我们不知道他在何时能取得最小值。而是通过巧妙地使用梯度寻找函数值，这种方法称为梯度法。神经网络的梯度是指损失函数关于权重的梯度。

5、神经网络的学习以损失函数为指标。

6、计算梯度方法：数值微分，误差反向传播。

神经网络权重参数的梯度（损失函数关于权重参数的梯度）。

7、神经网络学习步骤：

步骤1.（mini-bach）

步骤2.（计算梯度：梯度表示损失函数值减少最多的方向。）

步骤3.（更新参数：将权重参数沿梯度更新。）

步骤4.（重复1、2、3）