线性回归分析

线性回归

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

简要介绍

我是一名小白，因为研究要求学习有关机器学习的一些知识，为了让自己的知识能够掌握的更加牢固，在这里我将会逐步对机器学习的核心内容进行有关分享，希望可以和大家相互交流与学习。（本文以西瓜书为辅助）

---

一、线性回归有关知识

个人认为线性模型跟直线的方程有这异曲同工之妙，在数学上经常会遇见这样的题：给定两个点，求一条直线的函数表达式，并求在x为某数时，此时的y值。
线性模型的基本思想跟它是比较一致的，先给出一个属性的集合，其中的元素往往很多，求一个未知的属性的取值，而线性模型就是要通过这个属性集合，学习出一个线性关系，从而进行未知属性值的预测，一般的形式可以写成式1，向量的形式可以写成式2，如下图所示，其中n代表属性的个数。

通过给定的属性集合，线性回归试图学习出一个线性模型，尽可能使预测的值接近实际值，学习的函数如下图式3所示。

在这里，最重要的是确定w和b的值，越好的w和b的值，我们预测的结果会越接近真实值。该怎么让w和b的值达到最优呢？常用的方法是最小二乘法，在线性回归过程中，最小二乘法的实质就是试图找到一条直线，使所有样本到这条直线上的欧式距离之和最小。最小二乘法的公式如下图式4所示。

根据求导换算，可得出w和b的最优解，如下图式5和式6所示，详细过程不再进一步推导，有兴趣的读着可自行翻阅西瓜书。

在训练过程中，会出现过拟合或者欠拟合问题，过拟合就是求出的模型太过复杂，在训练集上的效果很好，但是一旦换了个其他的集合，效果就会非常差；欠拟合就是在训练集上的效果非常不好。解决过拟合问题，一般会使用L1正则化或者L2正则化，欠拟合问题就是增加样本数量等，在此不多加赘述，后续会单独介绍L1和L2正则化。

二、简单线性回归实例

1.引入库