1. 为什么要激活函数?
由于神经网络的正向传播是通过线性组合实现的,导致神经网络是一个线性的模型。
将神经网络的输出,输入到非线性的激活函数里,使得整个神经网络不再是线性的,
可以处理非线性的问题。
P69:
2. 常用的激活函数有哪些?
P70:
3. 交叉熵的作用?
判断输出向量和期望向量的接近程度,刻画了两个概率分布的距离。
P74:
4. Softmax激活函数的特点?与Sigmoid激活函数的区别?
Softmax将神经网络的输出变成概率分布。
P75:
5. 回归问题,使用什么损失函数?
均方差
P77:
6. 为什么要分批处理?
P83:
7. 怎样避免过拟合?
P87:
8. 什么是滑动平均模型?
通过控制衰减率来控制参数更新前后之间的差距,从而达到减缓参数的变化值
(如,参数更新前是5,更新后的值是4,通过滑动平均模型之后,参数的值会在4到5之间),
如果参数更新前后的值保持不变,通过滑动平均模型之后,参数的值仍然保持不变。
P90:
9.