深度学习2 线性回归和非线性回归

1.回归分析本质是一种建模技术，它研究的是因变量和自变量之间的关系，并将这种关系建立成模 型，以用于预测分析。线性回归是最广为人知的建模技术之一，而非线性回归问题一般可以转化为线性回归问题进行求解。

要想弄清楚线性回归是什么,可以把这个词拆开来理解，即“线性”和“回归”。“回归”一 般指的是研究一组随机变量Y₁,Y₂  和另一组随机变量 X₁,X₂ 之间关系的统计分析方法。线性回归同样也是一种研究两组随机变量之间关系的方法。“线性”描述的是一种关系， 一般来说如果两个变量之间存在一次函数关系，就称它们之间存在线性关系。

2.极大似然估计法是统计学中方法之一。概率用于已知一些参数的情况，预测接下来的观测所得到的结果，是一个正向过程；什么是似然性?似然性用于已知某些观测所得到的结果，然后对事物的性质参数进行估计，是一个逆向的过程。 一般可以说某事件发生的概率是多少，某参数的似然估计值是多少，不能说某事件的似然估计值。

3.在机器学习和深度学习中，梯度下降是绕不开的。梯度本质是一个向量，通俗一点来讲就是对一个多元函数求偏导，得到的偏导函数构成的向量就称为梯度。例如， 一元函数的梯度就是它的导数。求解一元函数的极值问题时，就是在找导数为0 的点。对于多元函数，如果每个自变量的偏导数都是0的时候，是不是可以找到这个多元函 数的极值呢?

梯度下降就是让梯度不断下降到0的过程。梯度下降是一个迭代法，就是一遍 又一遍地运行，每一轮都会让梯度下降一点点，然后不断向0靠近。

学习率就是设定好的，规定每一次梯度下降的速度的。假设距离目的地只有10cm 的 距离，如果学习率假设比较小，每次往目的地前进lcm,  这样大约10步就到目的地了。但是假设步长是20cm, 不管怎么走，都无法到达目的地。相应的，假如步长是0.1cm, 那这时候 就需要100步才能到，所以步长的选择过大则可能无法收敛，过小则收敛速度过慢。

总结：

(1)线性回归：研究变量之间存在怎样的线性关系。

(2)线性回归的解析解，采用最小均方误差进行衡量：

根据目标函数，求出了最优参数的公式：

最后，介绍如何解决非线性回归问题：转换为线性回归问题进行求解。

(3)学会如何用梯度下降求解线性回归问题。

( 4 ) 用Python 展示梯度下降逐渐逼近最优解的迭代过程。