第二课堂第三次笔记

1.深度学习

梯度下降：

①梯度：在深度学习中，梯度可以看作是一个指引我们如何调整模型参数（如权重和偏置）以最小化误差的指南针。梯度告诉我们，在当前参数值的情况下，误差朝哪个方向增大或减小，以及应该调整参数多少。

②梯度计算“在深度学习中，我们通常使用反向传播算法来计算梯度。反向传播通过链式法则，从输出层开始，逐层向回计算每个参数对误差的影响。

③梯度的作用：
初始化模型参数：随机初始化权重和偏置。
前向传播：计算模型预测值和损失。
反向传播：计算损失函数相对于每个参数的梯度。
更新参数：根据梯度调整参数，使损失减小。
重复：不断进行前向传播、反向传播和参数更新，直到损失收敛

④

神经网络也必须在学习时找到最优参数(权重和偏置)。这里所说的最优参数是指损失函数取最小值时的参数，这里通过巧妙地使用梯度来寻找函数最小值(或者尽可能小的值)的方法就是梯度法。

这里需要注意的是，梯度表示的是各点处的函数值减小最多的方向。因此，无法保证梯度所指的方向就是函数的最小值或者真正应该前进的方向。实际上，在复杂的函数中，梯度指示的方向基本上都不是函数值最小处

函数的极小值、最小值以及被称为鞍点(saddle point)的地方，梯度为0。鞍点是从某个方向上看是极大值，从另一个方向上看则是极小值的点。虽然梯度法是要寻找梯度为0的地方，但是那个地方不一定就是最小值(也有可能是极小值或者鞍点)。（梯度为0的地方，不一定就是最小值）

此外，当函数很复杂且呈扁平状时，学习可能会进入一个(几乎)平坦的地区，陷入被称为“学习高原”的无法前进的停滞期。

虽然梯度的方向并不一定指向最小值，但沿着它的方向能够最大限度地减小函数的值。因此，在寻找函数的最小值(或者尽可能小的值)的位置的任务中，要以梯度的信息为线索，决定前进的方向。
(要以梯度为学习的前进方向）
通过不断地沿梯度方向前进，逐渐减小函数值的过程就是梯度法

2.神经网络模型

①数据导入

首先导入所需的数据库

②数据预处理

1.数据清洗

2.特征转化

3.数据划分

③建立神经网络

定义网络结构，初始化网络参数，定义损失函数，选择优化器，训练网络，验证和测试