线性回归

线性回归->连续问题
softmax回归->离散问题

基本术语

训练模型
使模型在数据上的误差减小的过程
训练集
用于训练模型的数据集合
样本
训练集的一个元素对应的个体(比如：一只狗，一栋房子)
标签
模型输出的结果
特征
影响输出结果的因素
损失函数
用于衡量误差的函数
平均损失
所有样本误差的平均值
解析解
误差最小值可用表达式表达
数值解
误差最小值没有解析解
小批量随机梯度下降
(初始值W1)-迭代->降低损失值（W1 = W1 - W0）
迭代过程：在每次迭代中，先随机均匀采样⼀个由固定数⽬训练数据样本所组成的小批量（mini-batch）B，然后求小批量中数据样本的平均损失有关模型参数的导数。最后⽤此结果与预先设定的⼀个正数的乘积作为模型参数在本次迭代的减小量W0。

神经网络图

小批量随机梯度下降的另一种表达