新手最容易混淆的概念最小二乘法

标签: 机器学习 最小二乘法 梯度下降法 最小二乘准则 最优解
22人阅读 评论(0) 收藏 举报
分类:
我一直很困惑“最小二乘法”、“梯度下降法”、“最大似然估计法”到底是机器学习中求解参数的方法,还是最优化的方法?
(1)狭义的最小二乘法,是线性假设下的一种有闭式解的参数求解方法,最终结果为全局最优;
(2)梯度下降法,是假设条件更为广泛(无约束)的,一种通过迭代更新来逐步进行的参数优化方法,最终结果为局部最优;
(3)广义的最小二乘准则,是一种对于偏差程度的评估准则,本质上一种目标函数(objective function),与上两者不同。

--------------------------------

(1)对最小二乘法直接求导找出全局最小值的方法即为Normal Equation解法。

(2)梯度下降法是一种迭代法,先对参数给定一个初始值,然后向梯度下降最快的方向调整,在若干次迭代之后找到全局最优或局部最优解。

------------------------------------------------------------

最小二乘法的目标:求误差的最小平方和,对应有两种:线性和非线性。线性最小二乘的解是closed-form即x=(A^T A)^{-1}A^Tb,而非线性最小二乘没有closed-form,通常用迭代法求解。

迭代法,即在每一步update未知量逐渐逼近解,可以用于各种各样的问题(包括最小二乘),比如求的不是误差的最小平方和而是最小立方和。

梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。高斯-牛顿法是另一种经常用于求解非线性最小二乘的迭代法(一定程度上可视为标准非线性最小二乘求解方法)。

还有一种叫做Levenberg-Marquardt的迭代法用于求解非线性最小二乘问题,就结合了梯度下降和高斯-牛顿法。

所以如果把最小二乘看做是优化问题的话,那么梯度下降是求解方法的一种,x=(A^T A)^{-1}A^Tb是求解线性最小二乘的一种,高斯-牛顿法和Levenberg-Marquardt则能用于求解非线性最小二乘。

具体可参考维基百科(Least squares, Gradient descent, Gauss-Newton algorithm, Levenberg-Marquardt algorithm
Reference链接:https://www.zhihu.com/question/20822481/answer/23648885
查看评论

几个易混淆概念(2)

(原标题:人工智能、机器学习和深度学习之间的区别和联系) 有人说,人工智能(AI)是未来,人工智能是科幻,人工智能也是我们日常生活中的一部分。这些评价可以说都是正确的,就看你指的是哪一种人工智能...
  • a519781181
  • a519781181
  • 2017-01-23 00:49:55
  • 183

C++基础(一些经常混淆的概念)

这篇博客主要是自己在看完C++ Primer Plus第六版后的一个笔记,如果大家想学C++,还是建议先看一下C++ Primer plus(这本主要是基础),看完这本书之后,才觉得很多东西要去学,千...
  • youbingchen
  • youbingchen
  • 2016-05-26 22:21:05
  • 1046

Oracle中易混淆的几个概念

欢迎转载,转载请指明出处http://blog.csdn.net/hncsy403,谢谢 1.实例和数据库 实例包括我们为了运行数据库执行和分配的所有进程和内存结构 Oracle实例...
  • hncsy403
  • hncsy403
  • 2012-08-23 11:32:54
  • 1991

MYSQL之常见易混淆概念

今晚我们就聊MYSQL中,3个极易混淆的概念,下面我们开始分享。 第一个:"_"与"%",这两个符号都是用在like语句中,"_":表示的是匹配1个字符,即占位1个字符;             ...
  • bayren820
  • bayren820
  • 2015-12-30 23:12:52
  • 205

Java易混淆概念与重点知识积累 第三篇

String、StringBuffer和StringBuilder对比 String类是不可变类,任何对String的改变都会引发新的String对象的生成;StringBuffer则是可变类,任何对...
  • songkai320
  • songkai320
  • 2016-07-04 20:29:46
  • 883

C语言中容易混淆的几个概念

基本解释   1、指针的本质是一个与地址相关的复合类型,它的值是数据存放的位置(地址);数组的本质则是一系列的变量。   2、数组名对应着(而不是指向)一块内存,其地址与容量在生命期内保持不变,只...
  • mcudoc
  • mcudoc
  • 2013-03-07 15:18:51
  • 483

初看关于区块链技术的文章容易混淆的一些概念

自从比特币火爆全球开始,越来越多人开始关注比特币的发展,同时也对比特币的底层技术 区块链 产生了极大的兴趣。如今,区块链技术被全球范围的国家重视,甚至英国正在考虑把区块链技术列为国家战略,原因之一是两...
  • a727911438
  • a727911438
  • 2017-07-02 00:29:37
  • 518

英语中容易混淆的单词发音: 一

创建此贴的原因是发现经常有点单词容易混淆,分不清他们的发音,所以借助此贴悉心收集的容易混淆的单词发音。持续更新中... 1. worn--warn     发音一样,都发[wɔ:n],所以需要结合...
  • hailanzhijia
  • hailanzhijia
  • 2012-01-07 19:01:07
  • 6119

DBUS 介绍

DBUS 介绍 dbus的是一个低延迟,低开销,高可用性的ipc机制。是desktop-bus的简称 更多细节: *低延迟:dbus一开始就是用来设计成避免来回传递和允许异步操作的。很像x协议 ...
  • gxp
  • gxp
  • 2012-03-01 11:18:18
  • 437

有关Dbus的整理

What is D-Bus? D-Bus is a message bus system, a simple way for applications totalk to one another. I...
  • jefbai
  • jefbai
  • 2014-03-04 19:23:55
  • 575
    我的微信公众号
      Microstrong
      关注微信公众号【Microstrong】,我写过四年Android代码,了解前端、熟悉后台,现在研究方向是机器学习、深度学习!一起来学习,一起来进步,一起来交流吧!
    个人资料
    持之以恒
    等级:
    访问量: 3万+
    积分: 1360
    排名: 3万+
    最新评论