统计与机器学习发展的三条主线(二)

今天我们继续，昨天我们说要带领大家捋一捋统计与机器学习发展的几条主线，上一篇文章主要是从神经网络谈起，从最开始的感知器，发展到BP算法，再到后面的卷积神经网络以及最后的深度信度网络，这可以说是神经网络非常重要的一条发展主线，而且到现在也还在发展，从2012年起，又有许多新的神经网络提出来，在图像识别，自然语言处理，推荐算法方面都有很重要的应用。

那么我们今天沿着的主线又是什么呢，是回归，而且是线性回归。大家肯定会好奇了，回归类的方法那么多，为什么最简单的线性回归反而异常重要，难道它们之间有联系吗，答案是有，而且有着非常重要的联系，那么今晚就带领大家沿着这条路线走一下，就明白了。我们先说，什么是简单的线性回归，我们想象一下，有一堆散点在二维坐标里，我们需要找一条直线穿过它，并且呢，误差要最小，在这种条件下，我们得到的直线就是通过最小二乘法得到的直线。那么这件事从什么时候就做了好呢，从大数学家高斯的时候就做好了。但是呢，这个时候最小二乘得到的只是一条回归线。其他含义并没有太多。比如这个时候，我们得到回归线上的每一个点就是预测点。如果大家经常看书，会遇到另一个叫法，叫条件期望，再给定x的情况下的均值，这个是什么意思呢，为啥这样叫呢，背后有什么含义呢。实际上是这样的，我们通过最小二乘法得到那条直线之前，实际上是有个假设的，就是自变量x和因变量y一定是存在关系的，也就是它们本来理论上有关系，我们要通过回归把具体线性关系得出来。既然有关系，那么它们之间就存在联合概率密度f（x，y），所以说最小二乘