线性回归和softmax回归

一、线性回归

1.基本概念：线性回归是一种基本的预测型分析，它试图通过找到一个最佳拟合线（或平面）来预测一个连续型变量（例如销售额、温度等）和一个或多个预测变量（例如时间、广告投入等）之间的关系。线性回归试图找到一个模型，使得预测变量和实际变量之间的误差平方和最小。

2.线性回归的基本公式是：Y = aX + b，其中Y是我们要预测的连续型变量，X是预测变量，a和b是模型参数，需要我们通过计算来找到。

3.线性回归有很多应用，例如预测销售额、预测股票价格等。同时，线性回归也是很多更复杂的统计模型的基础，例如逻辑回归、多元回归等。

4.损失函数：衡量预估质量 损失函数能够量化目标的实际值与预测值之间的差距，例如房屋售价和估价。 回归问题最常用的损失函数是平方损失。训练损失的目标为：最小化损失从而确定参数。

5.训练数据：训练数据集越大越好。

6.梯度算法：神经网络在学习时找到最优的参数（权重和偏置）——指损失函数取最小值时的参数。我们不知道他在何处能取得最小值，所以使用梯度来寻找函数的最小值的方法就是梯度法。

7.梯度算法流程：在梯度法中，函数的取值从当前位置沿着梯度方向前进一定的距离，然后在新的方向重新求梯度，再沿着新梯度的方向前进，如此反复，不断的沿梯度方向前进。

8.选择批量值：

批量值不能太小：批量值太小，难以充分利用计算资源。

批量值不能太大：批量值太大，浪费计算资源。

小批量随机梯度下降是深度学习默认的求解算法，两个重要的超参数是批量大小和学习率。

二、Softmax回归

1.回归：单个连续数值输出、自然区间、与真实值的区别作为损失。

2.独热编码：对类别进行一位有效编码 类别对应的分量设置为1，其他所有分量设置为0。

3.一个单层神经网络； 由于计算每个输出o1,o2,o3取决于所有输入x1、x2、x3和x4，因此softmax回归层也是全连接层。

4.Softmax运算

5.Softmax回归是一个多类分类模型，使用Softmax操作得到每个类的预测置信度。

6.损失函数

平方损失（L2损失）、L1损失、Huber损失、交叉熵损失（通常用于比较概率分布）。