3B1B深度学习系列视频学习笔记

本文是学习b站3b1b学习笔记，部分参考诸神缄默不语的CSDN博客
，非常感谢！

part 1：深度学习之神经网络的结构

可以将神经元理解为装着数字的容器，一幅图像28*28=784个神经元，神经元中数字代表像素对应的灰度值，这784个神经元组成了神经网络第一层。
网络的最后一层由10个神经元组成，为0-9，同样也是10个容器，存储对应的某种数字的可能性。
中间包含了数个隐藏层

神经网络信号传递方式：

1. 首先对初始每个神经元进行赋权值，乘以神经元的值，将这些值加和后乘以激活函数，将值压缩到0-1之间
   
2. 有时可能其值大于一定量再激活才有意义，会选择加上一个偏置
   
3. 将所有的计算加到一起组成向量形式
   
   其中，上标1为层级数，也即从第零层将参数通过赋权，加偏置，激活后输出到第1层
4. 现如今，sigmoid使用很少，普遍使用relu函数
   sigmoid学得慢
   ReLU在特别深的网络上表现较好

Part2：深度学习梯度下降法

1. 训练神经网络时先随机设置权重和偏置值，然后逐步更新参数
2. 代价函数，也即损失函数是所有训练样本的代价平均值，衡量这个模型有多烂。
3. 通过梯度下降方式获得损失函数的局部最小值。
4. 为了能够进行梯度下降，损失函数是平滑的

Part3：深度学习反向传播算法

反向传播算法是根据后一层来计算前一层的梯度，一层一层往前推，，实现对权重进行更新的过程。
PyTorch的autograd可自动实现

• 随机梯度下降：将所有训练样本分成多个mini-batch，对每个mini-batch进行反向传播

反向传播的数学思想

参考：自动微分简介

正向：

反向：

$$V_5=y$$
$$V_4=\frac{\partial y}{\partial V_5}\frac{\partial V_5}{\partial V_4}$$
$$V_3=\frac{\partial y}{\partial V_5}\frac{\partial V_5}{\partial V_3}$$
$$V_2=V_4\frac{\partial V_4}{\partial V_2}=\frac{\partial y}{\partial V_5}\frac{\partial V_5}{\partial V_4}\frac{\partial V_4}{\partial V_2}$$
$$V_1=V_4\frac{\partial V_4}{\partial V_1}=\frac{\partial y}{\partial V_5}\frac{\partial V_5}{\partial V_4}\frac{\partial V_4}{\partial V_1}$$
$$V_0=V_2\frac{\partial V_2}{\partial V_0}+V_3\frac{\partial V_3}{\partial V_0}=\frac{\partial y}{\partial V_5}\frac{\partial V_5}{\partial V_4}\frac{\partial V_4}{\partial V_2}\frac{\partial V_2}{\partial V_0}+\frac{\partial y}{\partial V_5}\frac{\partial V_5}{\partial V_3}\frac{\partial V_3}{\partial V_0}$$
$$V_{-1}=V_1\frac{\partial V_1}{\partial V_{-1}}+V_2\frac{\partial V_2}{\partial V_{-1}}=\frac{\partial y}{\partial V_5}\frac{\partial V_5}{\partial V_4}\frac{\partial V_4}{\partial V_1}\frac{\partial V_1}{\partial V_{-1}}+\frac{\partial y}{\partial V_5}\frac{\partial V_5}{\partial V_4}\frac{\partial V_4}{\partial V_2}\frac{\partial V_2}{\partial V_{-1}}$$