飞桨深度学习集训营学习心得

1. 硬性设施：免费的V100 GPU运行算力以及专业的导师队伍答疑。

2. 专业的知识：深度学习模型的相关内容

深度学习模型的训练步骤，包括数据，模型，损失函数和优化器等，无论是Paddlepaddle，还是tensorflow、pytorch等深度学习框架，都离不开如下步骤：

1）数据收集，数据划分，数据读取，数据增强；

2）模型创建和权值初始化；

A. 模型创建包括构建网络层（卷积层、池化层和激活层等）和拼接网络层（LeNet，AlexNet，VGGNet，GoogleNet，ResNet等模型）；

B. 权值初始化包括均匀分布和正态分布等。

3）正向传播

A. 将数据输入网络模型（每个神经元先将输入值加权累加再输入激活函数作为该神经元的输出值）正向传播，得到“得分”;

B. 将“得分”输入损失函数，与期望值做差值得到误差，通过误差判断模型的训练效果（损失值越小越好）；

4）反向传播

优化器：管理并更新模型中可学习参数的值，使得模型输出更接近真实标签。

A. 通过反向传播（反向求导，损失函数和神经网络中每个激活函数都要求，最终目的是使误差最小）来确定梯度向量；

B. 通过梯度向量来调整每一个权值，向“得分”使误差趋于0或收敛的趋势调节；

C. 重复上述过程，直到设定的迭代次数或损失函数不再下降（最低点），即可表示训练完成。

其中，需要注意的是损失函数、代价函数和目标函数的区别，具体可见链接: https://blog.csdn.net/weixin_39615327/article/details/104362989

百度深度学习训练营的课程真心推荐 AI stdio：