第四天
损失函数的学习
深度学习与深层神经网络
深度学习两个重要特性:多层和非线性
线性模型的局限性
线性模型的输出为输入的加权和,解决问题的能力是有限的
激活函数实现去线性化
如果一个神经元的输出通过一个非线性函数,那么整个神经网络的模型也就不再是线性的了。
多层网络解决异或问题
感知机模型无法解决异或问题,唯有加入隐藏层后,才能很好的解决异或问题,因为深层网络有更好的组合特征提取的功能。
经典损失函数
分类问题和回归问题是监督学习的两大种类
交叉熵刻画了两个概率分布之间的距离
softmax回归使神经网络前向传播得到的结果变成概率分布