【机器学习期末总结】4-线性回归

代价函数
梯度下降
正则化
线性回归
模型
y=f(x)=w⋅x+b

y=f(x)=0.3345⋅x+121.27

1、模型

度量函数

损失函数(Loss Function)

度量单样本预测的错误程度，损失函数值越小，模型就越好。常用的损失函数包括：0-1损失函数、平方损失函数、绝对损失函数、对数损失函数等

代价函数(Cost Function)

度量全部样本集的平均误差。常用的代价函数包括均方误差、均方根误差、平均绝对误差等

目标函数(Object Function)

代价函数和正则化函数，最终要优化的函数

回归问题的求解

梯度下降法（Gradient Descent Algorithm）

批量梯度下降法Batch Gradient Descent

随机梯度下降法Stochastic Gradient Descent

小批量梯度下降法Mini-batch Gradient Descent

最小二乘法（Least Square Method）

多项式回归

例子见ppt

模型选择

当假设空间含有不同复杂度（例如，不同的参数个数）的模型时，就要面临模型选择的问题
希望选择或学习一个合适的模型能逼近“真”模型
如果一味追求提高对训练数据的预测能力，所选模型的复杂度则往往会比真模型更高，这种现象叫做过拟合

正常拟合、欠拟合、过拟合

正则化

岭回归（Ridge Regression）

套索回归（Lasso Regression）

弹性网络（Elastic Net）

L1和L2正则化项的区别

因为L1范数正则化项的“稀疏解”特性，L1更适合用于特征选择，找出较为“关键”的特征，而把一些不那么重要的特征置为零。
L2范数正则化项可以产生很多参数值很小的模型，也就是说这类的模型抗干扰的能力很强，可以适应不同的数据集，适应不同的“极端条件”

交叉验证

当给定的样本数据充足，随机地将数据集切分为三部分
训练集：用来训练模型
验证集：用于模型的选择
测试集：用于最终对学习方法的评估
在学习到的不同复杂度的模型中，选择对验证集有最小预测误差的模型

当给定的样本数据不足
1、简单交叉验证
首先随机地将已给数据分为两部分，训练集和验证集
然后用训练集在各种条件下训练模型，从而得到不同的模型
在验证集上评价各个模型的测试误差，选择测试误差最小的模型
2、K折交叉验证
选择K次评测中平均测试误差最小的模型
3、留一交叉验证
K折交叉验证的特殊情形 K = N
往往在数据缺乏的情况下使用

Scikit-learn库中的线性回归

分类
详见官方文档

应用

应用一：线性回归基础篇之预测鲍鱼年龄
应用二：线性回归提高篇之乐高玩具套件二手价预测