线性神经网络学习笔记

1.线性回归的基本元素

训练数据集，样本/数据点/数据样本，标签/目标，特征/协变量（即自变量）

2.线性模型

其实就相当于数学中的y=kx+b

但在深度学习的模型中，k的含义是权重w，b的含义是偏置，并扩展为高维的，以矩阵的形式进行运算，所以这也提醒我们训练模型的时候，矩阵的相乘一定要是对应维度的。

3.损失函数

损失函数最重要的作用就是指导模型向什么方向调整参数。

回归模型中常用的损失函数就是平方误差函数，最终损失函数的出的数值越小说明拟合效果越好。

4.解析解

线性回归的解用一个公式简单的表达出来称为解析解。

5.随机梯度下降

几乎所有模型都通过梯度下降的方法进行优化，而随机梯度下降是其中最简单的方法——计算损失函数（数据集中所有样本的损失均值）关于模型参数的导数。

但一个一个的求所有样本的损失均值过于麻烦，通常是划分为一小批一小批样本进行计算，称为小批量随机梯度下降。

导数计算之后对模型参数进行修正，并不断迭代这一过程将不断提高模型的精度。

而迭代过程中可改变的则是优化算法、学习率、迭代次数，这需要多次训练、调参获得最佳超参数。

6、线性回归模型的实现

总结一下就是以下步骤：

生成、读取数据集（包括为训练集打标签），选择线性回归模型并初始化参数，定义损失函数和选择优化算法，进行训练和调参

7.softmax回归

在深度学习中不仅有对数据的拟合、预测，另一类非常重要的问题就是分类问题，在对于数字、文字的识别等上有重要的作用。

而分类模型的逻辑就是计算出每一种情况的可能性，最终输出可能性最大的结果，如对一个数字模型计算出是2的概率是0.2，3的概率是0.1，1的概率是0.7，最终模型识别的结果就是1.

而softmax解决的问题就是将模型输出的所有结果规范化，都控制在0到1之间，极大的方便了判断的过程。

（本文章是对第三讲核心内容的概括精炼，具体训练过程之后将逐步补上）