python机器学习之sk-learn库（5.线性回归及过欠拟合处理）

线性回归基础原理

• 回归问题的判定
  • 目标值是连续性的值，而分类问题的目标值是离散型的值。

矩阵基础：是大多数算法的基础，非常重要

• 矩阵和数组的区别：
  • 数据可以是任意维度的
  • 矩阵必须是二维的
• 矩阵满足了一些特定的需求：
  • 矩阵乘法：（m行，b列）*（b行，n列）==（m行，n列）

问题：真实结果和预测结果是否会存在误差？

• 答：在多数的预测中都会和真实值存在一定的误差！

• 误差存在，那我们如何处理误差呢？在处理误差之前，我们必须先要知道一个回归算法的特性：
  • 回归算法是一个迭代算法。所谓的迭代就好比是系统版本的迭代，迭代后的系统要比迭代前的系统更好。
    • 当开始训练线性回归模型的时候，是逐步的将样本数据带入模型对其进行训练的。
    • 训练开始时先用部分的样本数据训练模型生成一组w和b，对应的直线和数据对应散点的误差比较大，通过不断的带入样本数据训练模型会逐步的迭代不好（误差较大）的w和b从而使得w和b的值更加的精准。
  • 官方解释：迭代是重复反馈过程的活动，其目的通常是为了逼近所需目标或结果。每一次对过程的重复称为一次“迭代”，而每一次迭代得到的结果会作为下一次迭代的初始值。

• 误差的处理方法：
  • 通俗点来说，回归算法就是在不断的自身迭代的减少误差来使得回归算法的预测结果可以越发的逼近真实结果！！！

SSE&RSS

-------------------------------------------分界线---------------------------------------------  

案例及使用方法

     eg：线性回归案例

API：最小二乘（正规方程）：from sklearn.linear_model import LinearRegression

 

​​​​​​​​​​​​​​

过拟合&欠拟合的处理方法

        多项式回归和岭回归

​​​​​​​