点击蓝字
关注我！
写在前面
这个系列为我在自学【机器学习】时的个人笔记。因为本人为医学相关专业，故学习过程中可能会有较多的纰漏，希望各位读者不吝赐教。本系列以吴恩达老师的【“机器学习”课程】为纲，辅以黄海广老师的【斯坦福大学 2014 机器学习教程个人笔记（V5.51）】，中间会穿插相关数理知识。该系列笔记为实时同步更新，故与本人的学习进度息息相关，希望同在学习相关知识的朋友能多多督促，共同进步。
06
正规方程
6.1
正规方程
在前面我们学习了使用梯度下降法来计算参数最优解，其过程是对代价函数相对于每个参数求偏导数，通过迭代算法一步一步进行同步更新，直到收敛到全局最小值，从而得到最优参数值。而正规方程则是通过数学方法一次性求得最优解。
其主要思想是利用微积分的知识，我们知道对于一个简单的函数，我们可以对于其参数求导，并将其值置为0，这样就可以直接得到参数的值。就像就像下面这样：
但是现在的问题是现实的例子都是很多参数的，我们需要做的就是对于这些参数都求偏导数，从而就得到各个参数的最优解，也就是全局最优解，但是困难在于，如果按照上面这么做将会非常费时间，所以有更好的办法。
6.2
正规方程的使用
这里有四个训练样本，以及四个特征变量x1,x2,x3,x4，观测结果是y，还是像以前一样，我们在列代价函数的时候，需要加上一个末尾参数x0，再将特征参数保存在X矩阵中，对观测结果做同样的操作并保存在向量y中，如图：
这样我们就可以通过下面这个公式得出参数θ最优解。
6.3
正规方程的推到（超详细）
附上常见矩阵求导公式：
6.4
正规方程与梯度下降法的比较
梯度下降法：
缺点：
需要选择学习速率α，而之前的学习也知道α的选择其实十分的困难，非常消耗我们的时间来调试并且选择它。
需要多次迭代，这也是非常消耗时间的。
优点：
当特征参数相当大的时候，梯度下降法也能够很好的工作。
正规方程：
优点：
不需要选择学习速率α
不需要多次迭代
缺点：
需要计算这里写图片描述，而这个计算对于计算机的计算量大致是矩阵维度的三次方，复杂度相当高。
由上面一点就可以看出，当特征参数相当大的时候，正规方程的计算会非常缓慢。
所以，我们该什么时候选择什么方式进行计算呢？
总结：
取决于特征向量的多少，可以将万作为一个界限，当数量小于10000时，直接选择正规方程，当大于10000时，就可以考虑是否换用梯度下降法或者后面的一些其他算法了。
新年快乐！
HOME
机器学习自学笔记到今天就已经更新六期了，希望有在关注的小伙伴都能学有所得~如果有疑问 的地方欢迎后台留言，一起探讨、共同进步~
再过几个小时就是牛年了，希望新的一年自己也能够继续坚持更新，当然后续有可能会出Python相关课程，来解决机器学习的问题。
新的一年，希望自己不断进步，科研有所成果~也祝各位小伙伴们新年快乐！新的一年身体健康，万事顺意！
——木舟
— END —
往期 · 推荐
长
按
关
注
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
