作为机器学习的一类,深度学习通常基于神经网络型逐级表示越来越抽象的概念或模式。我们先从线性回归和 softmax
回归这两种单层神经网络,简要介绍机器学习中的基本概念。然后,我们由单层神经网络延伸到多层神经网络,并通多层感知机引出深度学习模型。在观察和了解了模型的过拟合现象后,我们将介绍深度学习中对过拟合的常用方法:权重衰减和丢弃法。
线性回归
线性回归输出是一个连续值,因此适用于回归问题。
线性回归模型表示形式
损失函数
优化算法
随机梯度下降方法
总结
:线性回归基本要素包括模型、训练数据、损失函数和优化算法。
Softmax回归
softmax回归适用于分类问题。
softmax表示形式
softmax运算原理
交叉熵损失函数
总结
:softmax回归是单层神经⽹络,输出个数等于分类问题中的类别个数;交叉熵适合衡量两个概率分布的差异。
多层感知机
多层感知机在单层神经网络的基础上引入了1到多个隐藏层(hidden layer)。隐藏层位于输入和输出层之间。
多层感知机表示形式
数学表达式为
激活函数
常用激活函数有:
ReLu函数
sigmoid函数
tanh函数
总结:
多层感知机在输出层与输入层之间加上了1个或多个全连接隐藏层,并通过激活函数对隐藏层输出进行变换。