线性回归是通过拟合直线方程预测输出的模型，常用损失函数为平方误差。最小二乘法寻找全局最小，但计算成本高；梯度下降法迭代求解，可能找到局部最优。过拟合可通过正则化解决，如L1和L2正则。机器学习调参涉及λ和p的选择，常用交叉验证。经验风险、期望风险和结构风险是模型评估的关键概念，结构风险平衡了过拟合风险和模型复杂度。
线性回归
回归分析(regression analysis)用来建立方程模拟两 个或者多个变量之间如何关联
被预测的变量叫做：因变量(dependent variable), 输出(output)
被用来进行预测的变量叫做： 自变量(independent variable), 输入(input)
一元线性回归包含一个自变量和一个因变量
以上两个变量的关系用一条直线来模拟
如果包含两个以上的自变量，则称作多元回归分析 (multiple regression)
线性回归假定输入变量（X）和单个输出变量（Y）之间呈线性关系。它旨在找到预测值 Y 的线性方程：y = ax + b
代价函数
则对于每个样本点 ，根据我们的直线方程，预测值为：
很显然，我们希望直线方程能够尽可能地拟合真实情况，也就是说真值 和预测值 的差距尽量小。只有所有的样本的误差都小，才能证明我们找出的直线方程拟合性好。
通常来说，为了防止正误差值和负误差值相抵的情况，使用绝对值来表示距离：
但是在线性回归中，我们需要找极值，需要函数可导，而 不是一个处处可导的函数，因此很自然地想到可以使用：
故损失函数采用的平方值
线性回归中经常使用的两种算法
最小二乘法：
公式推到：见博文：<
最低0.47元/天 解锁文章
1800
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
