回归-原理及评价标准的实现

目录

回归模型——假设函数

评价标准

评价标准的python实现

如何求解参数w b——损失函数

模型求解——优化算法

---

回归模型——假设函数

存在一个点集，试图用一条线去拟合它的分布。如果拟合曲线是一条直线，则称为线性回归。如果是一条二次曲线，则被称为二次回归。线性回归是回归模型中最简单的一种。

若数据只有一个特征，数据集分布在一条直线上，那么回归模型可以表示为：y = w * x + b。

2个特征，y = w1 * x1 +w2*x2+ b

....

若有d个特征，可表示为下式

不妨用矩阵表示为：

w称为权重矩阵，b称为偏置矩阵

评价标准

评价标准的python实现

# 定义mse，均方误差
def MSE(y, yhat):
    return ((y - yhat).A ** 2).mean()

如何求解参数w b——损失函数

能够量化目标的实际值与预测值之间的差距，在训练模型时，我们希望寻找一组参数（w,b）， 这组参数能最小化在所有训练样本上的总损失，用来衡量的函数叫做损失函数

当采取平方根误差来衡量差距时，叫做均方误差，可以表示为：

 带帽子的是预测值，不带的是真实值，i表示第i个样本

基于均方误差进行模型求解叫做最小二乘法

模型求解——优化算法

如上文所说，我们希望足够幸运能找到损失函数的极值，通过求导（此处略数学推导），我们可以知道，损失函数的极小值对应的权重是：

采用上述公式得到的解叫做解析解，求解析解的回归称为线性回归

 然而有些时候并不能求导（也就是不能获得解析解），求解的方法可以换成随机梯度下降（SGD）等方法。而求出的解也不唯一，选择哪一个解作为输出，由算法的归纳偏好决定，常见的做法是引入正则项

神经网络的训练就是调整权重（参数）使得损失函数值尽可能得小，在训练过程中，将损失函数值逐渐收敛，得到一组使得神经网络拟合真实模型的权重（参数）。所以，优化算法的最终目标是找到损失函数的最小值。而这个寻找过程就是不断地微调变量w和b的值，一步一步地试出这个最小值。 常见的优化算法有随机梯度下降法（SGD）、Adam算法等等