高中水平都能看懂的梯度下降法(仔细到细思极恐)

有没有人和我一样看了别人写梯度下降的博文,什么站在山谷往下走啊,什么偏导啊,一脸懵逼,我也是懵逼几天才摸到一点点皮毛,我把我所想的分析下,能让我以后能回来看看,反复记忆下思路,也希望能帮助你能看懂一点点.

首先

什么是梯度下降法?先弄懂这个概念才能继续往下学习
1.梯度下降法,简单来说是一种计算方法,用来计算什么呢?就是计算损失函数的最优解,也就是最小值,很多博文所说的θ的最小值.
是不是很懵逼,什么是损失函数,什么是最优解,现在我仔细讲解下.我还是分目录来吧,这样能有一个总的分析
目录 损失函数
最大似然估计
手动解θ最小值
梯度下降法

概念一.损失函数(这个是知道的吧,)

说到损失函数,举个例子吧,还是万金油例子,卖房子吧,(感觉深度学习以后是不是要向卖房子靠拢啊,预测以后房价高低,能赶紧赚一波钱).
假设,我从市场收集一堆房价的数据,那这些数据肯定跟房子的信息,比如房子的面积,房间数量,房子价钱有关.
假设$x^i=(1,2,3,4,5,6...m)$ $y^i=(1,2,3,4,5,m)$(数据的个数)

房子面积($x^i$)	房子总的售价(元) $y^i$
50$m^2$	5000
60$m^2$	5500
70$m^2$	6000
…	…

那我用这些数据干嘛,那肯定是做预测房价啊,也就是说,我用这些数据会做一个预测 ,预测值 =y(预),那预测值怎么算啊?不就是房子的面积x每平方米的价钱吗,你会发现卖5000的房子 ÷ 50$m^2$ 相当于 1$m^2$ 100(元),卖5500的房子 ÷ 60$m^2$ 相当于91.67(元),
发现没有,这不同房子每一平方米卖的价钱不一样啊,那我想知道一个准确的数值怎么办?所以这时候就要靠计算机了,我们给一堆上面房子的数据给计算机来计算,数据越多,那每平方米卖的价钱就更准确.(这里提醒下,我这么说只是让大家好理解,你知道在实际生活中,房子卖多少钱的数据不是只有面积,还有地段啊,房间数量啊,还有房子老旧啊,但是,但是什么呢 这样不难,因为我们下面列的公式,后面再把这些数据也输入进去就行了 ,至于怎么输入脑补吧.)

那房子的预测售价怎么算?不就是等于 =每平方米*每平方米的售价吗, (这个每平方米的售价不一样,所以我们设置为θ)
θ也有很多个数就是${\theta }^t=(1,2,3,...n)$
来来来,我们列个公式吧 y(预)=${\theta }^t{x}^i$ 这个公式不就是很多博客写的$H(\theta )$.
∴$H(\theta )={\theta }^t{x}^i$
等等,这个只是一个预测值,那么我们总要知道他和真正的值差多少吧,不然你预测的跟真实的差个天翻地覆,房子不是卖亏了,
有没有发现我们上面那个表,房子总售价设为$y^i$,这就是真实值.
如果我有一套50$m^2$,房子, 他不可能也卖到五千块的吧,所以就有

$y^i-y(预)=\epsilon$(真实值-预测值,ε就是这个差)
$\epsilon =y^i-\theta x^i$

最大似然估计

这时候 $y^i$是一个列向量$-$y(预)列向量 得到的$\epsilon$是一个随机变量,为什么这么说,
因为$y^1$$-$$y(预{)}_1$的是一个${\epsilon }_1$,
$y^2$$-$$y(预{)}_2$的是一个${\epsilon }_2$
$y^3$$-$$y(预{)}_3$的是一个${\epsilon }_3$
.
.
.
$y^n$$-$$y(预{)}_n$的是一个${\epsilon }_n$
这么一顿操作下来,n个随机变量的$\epsilon$的分布是符合正态分布的.
按照中心极限定理来讲,大量随机变量累积分布函数逐点收敛到正态分布的累积分布函数的条件.在自然界中,一些现象受到许多相互独立的随机因素的影响.如果每个因素所产生的影响都很微小时,总的影响可以看作是服从正态分布的.中心极限定理就是从数学上证明了这一现象.
看文字是不是很不明白,你可以理解为,当所得数差距很小时,他们汇集在比较中心的一些位置,而这刚好符合正态分布的定理,用图表示下吧

说了 ${\epsilon }_n$随机变量是属于正态分布的,那么我们证明下,${\epsilon }_n$出现在正态分布总的概率是多大,就是求总似然估计(这时候就懵逼了,总似然又是什么东西,搞那么多乱七八糟的干嘛,其实到这里就是为了 把损失函数的真面目撕开,把他分析透彻去,好吧那就开始吧)

那么最大似然估计是什么呢?其实他是跟正态分布是密切相关的,最大似然估计就是去找参数估计值，使得已经观察到的样本值发生概率最大(这里也是不理解吧),直接上菜好了,正态分布高中的时学过吧(我这种差生又看了 正态分布一遍),先列出他的公式:
$f(x)=\frac{1}{\sigma \sqrt{2}\pi }exp(-\frac{(x{)}^2}{2{\sigma }^2})$
我们不是要求 ${\epsilon }_n$出现在正态分布的概率吗,那我们就把 ${\epsilon }_n$放到正态分布公式中,
那么就有$P({\epsilon }_n)=\frac{1}{\sigma \sqrt{2}\pi }exp(-\frac{({\epsilon }_n{)}^2}{2{\sigma }^2})$
把上面的式子里的ε_n展开就有(复制上面式子啊 手打真的太累)
$P(y^i|x^i;\theta )=\frac{1}{\sigma \sqrt{2}\pi }exp(-\frac{(y^i-{\theta }^t{x}^i{)}^2}{2{\sigma }^2})$①
发现没有这个正态分布的参数只有θ了,(感觉一圈下来,就是为了解这个θ,损失函数也是为了求θ,这可能就是为了撕开他的面目撕他吧)最大似然估计就是去找参数估计值，使得已经观察到的样本值发生概率最大

那么公式也有了.最大似然估计又是什么还没讲出来(怎么这么拖拉呢)
上式似然函数为
L ( θ ) = ∏ i = 1 n P ( y i ∣ x i