机器学习笔记第三章

机器学习笔记第三章

线性回归算法(Linear Regression)

主要解决：

• 解决回归问题
• 思想简单，实现容易
• 许多强大的非线性模型的基础
• 结果具有很好的可解释性
• 蕴含机器学习中的很多重要思想

什么是线性回归算法：

分类问题和回归问题的区别：

我的理解：分类问题的横纵坐标都是样本的特征而平面上的点是样本输出的结果，回归问题的横坐标是样本特征而纵坐标是样本结果的输出，点不是输出结果

简单的线性回归

解释：样本特征只有一个

一类机器学习算法的基本思路

找到某些参数，使得某个函数的值尽可能的小，建模的过程就是找到一个模型使得函数尽可能地拟合我们的数据。

损失函数（loss function）: 使得数据与模型数据之间的差值尽可能的小的函数

效用函数（utility function）：拟合函数，希望值尽可能大

通过分析问题，确定问题的损失函数或者效用函数，通过最优化损失函数或者效用函数，获得机器学习的模型。

近乎所有参数学习算法都是这样的套路。

很多算法都是如此：线性回归、多项式回归、逻辑回归、SVM、神经网络

最优化原理 学习课程，最优化问题，最短路径、最大价值等等

凸优化 学习课程

典型的最小二乘法问题：最小化误差的平方

最小二乘法：

向量化运算

两个向量之间的点乘

5-5衡量线性回归法的指标 MSE、RMSE、MAE

RMSE VS MAE

RMSE 放大误差，尽量让RMSE更小更有意义，在简单线性回归中选择平方的原因。

5-6 最好的衡量线性回归法的指标 R Square

当R^2<0 的时候，说明我们学习到的模型还不如基准模型，此时，很有可能我们的数据不存在任何的线性关系。

在sklearn中线性回归算法封装在LinearRegression中。支持多元线性回归

score 当中直接返回 R^2的函数

5-7 多元线性回归和正规方程解

优点：不需要对数据做归一化处理

5-8 实现多元线性回归

使用正规化方程的形式实现自己的多元性回归模型

线性回归算法的总结：

线性回归算法是典型的参数学习，对比kNN的非参数学习

只能解决回归问题，虽然很多分类方法中，线性回归是基础（如逻辑回归）

对比kNN：既可以解决分类问题，又可以解决回归问题

在使用线性回归算法的时候是对数据有假设的，这个假设就是数据是线性的

对比kNN是对数据没有假设的。

优点：对于数据具有强解释性，白盒算法