1、线性回归假设数据集中特征与结果存在着线性关系;
等式:y = mx + c
y为结果,x为特征,m为系数,c为误差,在数学中m为梯度c为截距
这个等式为我们假设的,我们需要找到m、c使得mx+c得到的结果与真实的y误差最小,这里使用平方差来衡量估计值与真实值得误差(如果只用差值就可能会存在负数); 用于计算真实值与预测值的误差的函数称为:平方损失函数(squard loss function);这里用L表示损失函数,所以有:
整个数据集上的平均损失为:
我们要求得最匹配的m与c使得L最小;
数学表达式可以表示为:
2、在线性回归模型中,最小二乘估计等于噪声的极大似然估计
3、多项式回归中,当阶数太高时边缘的置信区间会很大,所以一般不超过4阶
4、树模型能很好的解决缺失值和异常值,线性模型无法解决;但是树模型的预测准确性会差一些
5、有时原问题很难,但是在对偶问题上就会简单,任何一个原问题变成对偶问题时都会变成一个凸优化问题
6、线性拟合-使用numpy
import numpy as np X=[ 1 ,2 ,3 ,4 ,5 ,6] Y=[ 2.51 ,3.52 ,4.48 ,5.51 ,6.47 ,7.51] z1 = np.polyfit(X, Y, 1) #一次多项式拟合,相当于线性拟合 p1 = np.poly1d(z1) print (z1) #[0.99657143 1.512 ] print (p1) # 0.9966 x + 1.512
得到线性函数模型