2022吴恩达机器学习（Deep learning）课程对应笔记24：训练神经网络

2022吴恩达机器学习（Deep learning）课程对应笔记24

神经网络训练

更新时间：2023/03/21

继续以手写数字识别问题为例：

1. 第一步是以Sequential的方式定义模型
2. 第二步是指定loss function是什么，这里用的是二元交叉熵函数
3. 第三步是开始开始训练模型，epoch是训练模型的轮数

模型训练细节

下面讲解一下逻辑回归模型的具体训练步骤：

1. 确定模型的输入特征x和对应的参数$w$和$b$，计算模型的输出，也就是计算$f_{\vec{w},b}(\vec{x})=?$
2. 指定模型具体的loss和代价函数，loss指的是一个样本的估计值与真实值之差，代价函数指的整个数据集中所有样本各自的估计值与真实值之间的差。
   • $loss=L(f_{\vec{w},b}(\vec{x}),y)$
   • $J(\vec{w},b)=\frac{1}{m}{\sum }_{i=1}^{m}L(f_{\vec{w},b}(\vec{x}),y)$
3. 训练数据更新参数，最小化 $J(\vec{w},b)$
   • $w=w-\alpha \ast dj\_dw$
   • $b=b-\alpha \ast dj\_db$

对比神经网络的学习过程如下

1. $model=Sequential...$
2. $model.compile(loss=Crossentropy())$
3. $model.fit(X,y,epochs=100)$
   
   下面具体看每一步

第一步 创建模型

第二步 确定Loss和代价函数

分类用交叉熵loss，回归用平方误差loss

第三步 训练：梯度下降

不同的深度学习框架

激活函数的替代方案

一个常见的激活函数：
$$ReLU=max(0,Z)=max(0,\vec{w}\vec{x}+b)$$

下面不同的激活函数

• 线性激活函数：$g(z)=z$
• Sigmoid激活函数：$g(z)=\frac{1}{1+e^{-z}}$
• ReLU激活函数：$g(z)=max(0,z)=max(0,\vec{w}\vec{x}+b)$

如何选择激活函数

对于输出层的激活函数选择：

• 根据具体的任务而定：
  1. 对于分类任务一般会用sigmoid激活函数。
  2. 对于线性回归问题一般选择线性激活函数。
  3. 对于$\hat{y}$只能取正值，毫无疑问选择ReLU激活函数。

对于隐藏层的激活函数选择：目前为止ReLU是最常用的选择（）

• 选择ReLU的原因：
  1. 因为计算速度快。
  2. sigmoid有两个梯度很平缓的区间，梯度下降会很慢，而ReLU则只有一个平缓的地方

小结一下激活函数的选择

为什么模型需要激活函数

对于线性回归来说有没有激活函数都可以
但是如果没有激活函数，神经网络模型就只能解决线性模型，无法处理其它类型的模型

不要在隐层用线性激活函数