五个步骤完成深度学习模型的构建和训练

一、数据处理

从本地或URL读取数据，并完成预处理操作（比如数据校验或格式转化等，这个具体怎么做，还不清楚呀~），保证模型课读取。

二、模型设计

（模型要素1）网络结构设计，相当于模型假设空间，即模型能够表达的关系集合。

PS：神经网络层数的设置应该在这部分完成吧。

三、训练配置

（模型要素2）设定模型采用的寻解方法，即优化器，并指定计算资源。

PS：神经网络学习的目的是寻找合适的参数，使得损失函数的值尽可能小。解决这个问题的过程为称为最优化。解决这个问题使用的算法叫做优化器。接触到的优化器有：随机梯度下降法（Stachastic gradient desent 简称 SGD）和AdaGrad 

AdaGard主要是为了解决 SGD 遇到鞍点或者极小值点后学习变慢的问题。我们知道超参数学习率是一个很重要的参数，不同的参数对学习结果的影响很大，如果设置的值较小，会导致学习花费较多的时间，学习率大了就会导致学习发散而不能正常的进行。所以我们可以考虑避免人为的介入，根据需要让程序自己动态地设置学习率。例如对于遇到鞍点的情况，参数变化很小，基本不会改变，那么这个方法就会设置一个较大的学习率，跨过鞍点。

计算资源应该是指使用的硬件吧。

四、训练过程

（模型要素3）循环调用训练过程，每轮都包括前向计算、损失函数（优化目标）和后向传播三个步骤。

PS：前向计算是指把输入数据传入模型，然后得到输出；后向传播是指根据前向计算得到的输出通过梯度下降，从后向前优化网络中的参数。（因为梯度下降就是从后向前计算）

五、模型保存

将训练好的模型保存，模型预测是调用。

以上内容来自百度飞桨公共课的学习体会。