线性回归原理

 

1. 线性回归的模型函数和损失函数

对于m个样本，n维特征，

如果y是连续的，则是回归问题，否则是分类问题。

它的线性回归模型是： θ_i (i = 1,2...n)是参数，x_i (i = 1,2...n)是每个样本的n个特征。

这里增加一个特征 x₀ = 1，得到

矩阵形式的线性回归模型：h_θ(x) = xΘ，其中h_θ(x)为mx1的向量，θ为nx1的向量，x为mxn维的矩阵。

一般线性回归用均方误差作为损失函数。线性回归损失函数表达式：

矩阵形式的线性回归损失函数：

 

2. 线性回归算法

常用两种方法求线性回归损失函数的最小值：梯度下降法，最小二乘法。

梯度下降法，θ的跌代公式：

最小二乘法，θ的迭代公式：

 

转载于:https://www.cnblogs.com/keye/p/10844943.html