机器学习入门课程（3）—— 回归问题和聚类问题

机器学习入门课程（3）—— 回归问题和聚类问题

一. 回归问题

回归问题用于预测输入变量和输出变量之间的关系，特别时当输入变量的值发生变化时，输出变量值随之发生变化。直观来说，回归问题等价于函数拟合，选择一条函数曲线使其很好的拟合已知数据且预测未知数据。

回归问题分类

• 自变量个数：一元/多元回归分析
• 自变量与因变量关系：线性/非线性回归分析
• 因变量个数：简单/多重回归分析

线性回归

​ 线性回归算法假设特征和结果满足线性关系。这就意味着可以将输入项分别乘以一些常量，再将结果加起来得到输出。

线性回归算法流程：

• 选择拟合函数形式
• 确定损失函数形式
• 训练算法，找到回归系数，如最小二乘、梯度下降等
• 使用算法进行数据预测

线性回归扩展算法

用简单的基函数代替输入变量x，这样就把线性拟合形式扩展到了固定非线性函数的线性组合（多项式拟合）。

过拟合问题：过于贴合训练数据，导致在测试集效果变差。

• 岭回归
  • 应用结构风险最小化的模型选择策略，在经验风险最小化的基础上加入正则化因子。
  • 当正则化因子选择为模型参数的二范数