今天我们继续,昨天我们说要带领大家捋一捋统计与机器学习发展的几条主线,上一篇文章主要是从神经网络谈起,从最开始的感知器,发展到BP算法,再到后面的卷积神经网络以及最后的深度信度网络,这可以说是神经网络非常重要的一条发展主线,而且到现在也还在发展,从2012年起,又有许多新的神经网络提出来,在图像识别,自然语言处理,推荐算法方面都有很重要的应用。
那么我们今天沿着的主线又是什么呢,是回归,而且是线性回归。大家肯定会好奇了,回归类的方法那么多,为什么最简单的线性回归反而异常重要,难道它们之间有联系吗,答案是有,而且有着非常重要的联系,那么今晚就带领大家沿着这条路线走一下,就明白了。我们先说,什么是简单的线性回归,我们想象一下,有一堆散点在二维坐标里,我们需要找一条直线穿过它,并且呢,误差要最小,在这种条件下,我们得到的直线就是通过最小二乘法得到的直线。那么这件事从什么时候就做了好呢,从大数学家高斯的时候就做好了。但是呢,这个时候最小二乘得到的只是一条回归线。其他含义并没有太多。比如这个时候,我们得到回归线上的每一个点就是预测点。如果大家经常看书,会遇到另一个叫法,叫条件期望,再给定x的情况下的均值,这个是什么意思呢,为啥这样叫呢,背后有什么含义呢。实际上是这样的,我们通过最小二乘法得到那条直线之前,实际上是有个假设的,就是自变量x和因变量y一定是存在关系的,也就是它们本来理论上有关系,我们要通过回归把具体线性关系得出来。既然有关系,那么它们之间就存在联合概率密度f(x,y),所以说最小二乘