本文深入探讨了线性回归的基础理论，包括定义、单特征与双特征线性关系，并介绍了损失函数及其在最小二乘法中的应用。文章详细阐述了正规方程和梯度下降两种优化方法的原理、过程及优缺点，并讨论了回归性能的评估指标——均方差。通过理解这些概念，读者能够更好地掌握线性回归模型的构建与优化。
目录
一、线性回归基础理论
1、定义与公式
定义：
线性回归：利用回归方程，对一个或多个自变量（特征值）和因变量（目标值）之间关系进行建模的一种分析方式。
线性关系公式 ：
权重系数：w
偏置：b
2、线性关系（单特征与双特征）
2-1、单特征线性关系
2-2、双特征平面关系
2-3、其他线性模型
（该图是线性模型，但不是线性关系）
二、线性回归的损失和优化
尽可能让假定的参数贴近真实的参数，越贴近，结果越准确。
1、损失函数
1、定义
损失函数（loss function）：是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数，通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。
2、公式
其中，前面的均值函数表示的是经验风险函数，L代表的是损失函数，后面的ΦΦ是正则化项（regularizer）或者叫惩罚项（penalty term），它可以是L1，也可以是L2，或者其他的正则函数。整个式子的目的：找到使目标函数最小时的θ值（损失最小的情况）。
3、损失函数举例
1、log对数损失函数（逻辑回归）
2、平方损失函数（最小二乘法）
3、指数损失函数（Adaboost）
4、Hinge损失函数（SVM）
5、0-1损失函数
6、绝对值损失函数
4、损失函数 -- 最小二乘法
2、优化方法：
优化目的：让损失函数取得最小值。
优化方法：
1、正规方程；
2、梯度下降。
2-1、正规方程
1、公式
2、原理
优点：不需要试错，可以直接取得最小值，比较快捷。
缺点：当特征过于复杂时，求解速度太慢且得不到结果。
适用于：小数据场景。（梯度下降相对用的更多一些）
2-2、梯度下降
机器学习的过程类似于梯度下降：根据上一步的“错误”，不断学习改进，才有了学习能力。
1、单特征
从上面比较高的位置，一点一点移动到最低点：
2、双特征
求出最小的损失值后，它的权重和偏置就是需要求的模型参数。
3、梯度下降过程（单特征）
4、梯度下降过程（双特征）
3、正规方程与梯度下降优缺点对比
小规模数据：正规方程、岭回归。
大规模数据：梯度下降。
三、回归性能评估（均方差）
回归性能评估方式：求均方差，均方差较小的那个模型效果较好。
公式
（y^i为预测值，y为真实值）
API
sklearn.metrics.mean_squared_error
5969
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
