深度学习记录一

1.什么是损失函数或代价函数

        损失函数或代价函数是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数

2.神经网络中的信号是如何传递的

        正向传播

        核心思路：传递的过程其实就是矩阵的乘法以及计算加权平均后经过激活函数就完成了一次传递

3.激活函数为什么不能使用线性函数

线性函数的问题在于不管如何加深层数，总是存在与之相等的“无隐藏层的神经网络”

example：

        hx = Cx ，网络y（x） =h（h（h（x））） =  C*C*C*x   （三层神经网络）

同样处理，y = ax（其中a = C的三次方来处理），（即没有隐藏层）的神经网络

4.怎么找到损失函数最小值

        机器学习的主要任务是在学习时找最优参数，同样的，神经网络也必须在学习时找到最优参数（权重和偏置），这里所说的最优参数是指损失函数取最小值时的函数，但一般而言，损失函数很复杂，参数空间庞大，我们不知道它在何时能取得最小值，而是通过巧妙地使用梯度寻找函数值，这种方法称为梯度法

        神经网络的梯度是指损失函数关于权重的梯度

5.神经网络的学习以损失函数为指标

6.计算梯度方法：数值微分、误差反向传播

• 神经网络权重参数的梯度（损失函数关于权重参数的梯度）

7.神经网络的学习步骤

• 步骤一、mini-bach
• 步骤二、计算梯度（梯度表示损失函数值减少最多的方向）
• 步骤三、更新参数：将权重参数沿梯度更新
• 步骤四、重复步骤一、二、三