本文深入探讨了线性回归，包括线性回归定义、最小二乘法（正规方程和梯度下降）以及模型评估。讨论了欠拟合和过拟合现象，介绍了L2正则化、L1正则化及其在岭回归和LASSO回归中的应用。并通过波士顿房价案例展示了线性回归的实际应用。
机器学习——线性回归
线性回归
线性回归定义
线性模型：试图学得一个通过属性的线性组合来进行预测的函数：
f ( x ) = w 1 x 1 + . . . + w n x n + b f(x)= w_1x_1+...+w_nx_n+b f(x)=w1x1+...+wnxn+b
w为权重，b为偏置项。
线性回归定义：线性回归通过一个或者多个自变量与因变量之间之间进行建模的回归分析。其中特点为一个或多个称为回归系数的模型参数的线性组合
一元线性回归：涉及到的变量只有一个
多元线性回归：涉及到的变量两个或两个以上
通用公式： h ( x ) = w 0 + w 1 x 1 + w 2 x 2 + . . . h(x)=w_0+w_1x_1+w_2x_2+... h(x)=w0+w1x1+w2x2+...
最小二乘法之正规方程
记 y i y_i yi 为第 i i i 个训练样本的真实值， h w ( x i ) h_w(x_i) hw(xi) 为第 i i i 个训练样本特征值组合预测函数，总损失定义为：
J ( θ ) = ( h w ( x 1 ) − y 1 ) 2 + ( h w ( x 2 ) − y 2 ) 2 + . . . + ( h w ( x m ) − y m ) 2 = ∑ i = 1 m ( h w ( x i ) − y i ) 2 J(\theta)=(h_w(x_1)-y_1)^2+(h_w(x_2)-y_2)^2+...+(h_w(x_m)-y_m)^2=\sum_{i=1}^{m}(h_w(x_i)-y_i)^2 J(θ)=(hw(x1)−y1)2+(hw(x2)−y2)2+...+
最低0.47元/天 解锁文章
扫一扫
664
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
