ElitesAI·动手学深度学习PyTorch版笔记（一）

  虽然之前利用Keras基于深度学习的方法做过融合卫星遥感影像和百度POI数据等做过城市建筑功能类型的识别，但是仍然感觉自己的理论知识不扎实、编程动手能力非常薄弱；工作比较忙学习时间仓促但希望通过这次公益学习能系统的掌握深度学习的知识，现将线性回归、Softmax与分类模型、多层感知机、文本预处理、语言模型、循环神经网络方面的学习重点和个人的感悟记录如下：

Task01：线性回归、Softmax与分类模型、多层感知机

线性回归

1.解析解和数值解

解析解： 当模型和损失函数形式较为简单时，上面的误差最小化问题的解可以直接用公式表达出来。
数值解：通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。
大多数深度学习模型并没有解析解，通过数值解来实现。教程中的线性回归例子用的是数值解。测绘领域同样存在这样的情况，测量平差讲解了许多通过列误差方程，求解法方程及未知数，算是解析解范畴，但GPS基线解算、摄影测量真正解算的时候都是通过最小二乘迭代模型来求解数值解。

优化函数 - 随机梯度下降
在求数值解的优化算法中，小批量随机梯度下降（mini-batch stochastic gradient descent）在深度学习中被广泛使用。它的算法很简单：先选取一组模型参数的初始值，如随机选取；接下来对参数进行多次迭代，使每次迭代都可能降低损失函数的值。在每次迭代中，先随机均匀采样一个由固定数目训练数据样本所组成的小批量（mini-batch），然后求小批量中数据样本的平均损失有关模型参数的导数