斯坦福《机器学习》Lesson4感想--1、Logistic回归中的牛顿方法

原创 2015年07月07日 16:02:07

       在上一篇中提到的Logistic回归是利用最大似然概率的思想和梯度上升算法确定θ,从而确定f(θ)。本篇将介绍另一种求解最大似然概率ℓ(θ)的方法,即牛顿迭代法。

在牛顿迭代法中,假设一个函数是,求解θ值使得f(θ)=0。在图1中可知,


图1

选择一个点,对应函数值为,并将对应的切线与x轴相交的点记为,所以 ,依此类推可知牛顿迭代规律。


 为了求得最大似然概率ℓ(θ),让,所以牛顿迭代方法确定最大似然概率的公式为:


在Logistic回归中,θ是一个向量。因此公式可表示为:


H是一个n*n的矩阵,被俗称为Hessian。


 

 

牛顿法解机器学习中的Logistic回归

这仍然是近期系列文章中的一篇。在这一个系列中,我打算把机器学习中的Logistic回归从原理到应用详细串起来。本文将结合之前介绍的Logistic回归的原理,解释牛顿法在优化问题中的应用,特别是在求解...
  • baimafujinji
  • baimafujinji
  • 2016年04月18日 19:26
  • 6631

【机器学习-斯坦福】学习笔记4 - 牛顿方法

牛顿方法 本次课程大纲: 1、  牛顿方法:对Logistic模型进行拟合 2、 指数分布族 3、  广义线性模型(GLM):联系Logistic回归和最小二乘模型   复习: Logistic...
  • maverick1990
  • maverick1990
  • 2013年10月10日 12:45
  • 6043

(斯坦福机器学习课程笔记)牛顿法算法学习

代码均使用PYTHON3.x 牛顿法算法复杂些,作以下笔记,免忘。 下图(来自http://www.myexception.cn/cloud/1987100.html,侵删) 为了找到 f(...
  • qq_32231743
  • qq_32231743
  • 2016年12月20日 19:18
  • 892

机器学习入门:牛顿法

平时经常看到牛顿法怎样怎样,一直不得要领,今天下午查了一下维基百科,写写我的认识,很多地方是直观理解,并没有严谨的证明。在我看来,牛顿法至少有两个应用方向,1、求方程的根,2、最优化。牛顿法涉及到方程...
  • Sonojao
  • Sonojao
  • 2015年03月21日 09:04
  • 1854

Andrew Ng机器学习课程之学习笔记---牛顿方法

牛顿方法 本次课程大纲: 1、  牛顿方法:对Logistic模型进行拟合 2、 指数分布族 3、  广义线性模型(GLM):联系Logistic回归和最小二乘模型   复习: Logi...
  • wjk7186912
  • wjk7186912
  • 2017年06月03日 11:32
  • 341

【斯坦福---机器学习】复习笔记之牛顿方法

本讲大纲:1.牛顿方法(Newton’s method) 2.指数族(Exponential family) 3.广义线性模型(Generalized linear models)1.牛顿方法假设...
  • Andrewseu
  • Andrewseu
  • 2015年07月06日 16:42
  • 9087

【机器学习-斯坦福】 - 牛顿方法

牛顿方法 本次课程大纲: 1、  牛顿方法:对Logistic模型进行拟合 2、 指数分布族 3、  广义线性模型(GLM):联系Logistic回归和最小二乘模型   ...
  • liuheng0111
  • liuheng0111
  • 2016年09月12日 23:46
  • 156

斯坦福《机器学习》Lesson4感想-------2、广义线性模型

在前面几篇中分类问题和回归问题里涉及到的伯努利分布和高斯分布都是广义线性模型(Generative Linear Models.GLMs)的特例。下面将详细介绍广义线性模型。   1、指数族 我...
  • adeleamily
  • adeleamily
  • 2015年07月07日 18:58
  • 670

【机器学习笔记1】Logistic回归总结

Logistic回归总结 作者:洞庭之子 微博:洞庭之子-Bing (2013年11月) PDF下载地址:http://download.csdn.net/detail/lewsn200...
  • achuo
  • achuo
  • 2016年04月15日 11:16
  • 1257

机器学习之详解Logistic回归

之前的几篇博客文章里,我们已经向读者介绍了机器学习中Logistic回归的具体应用(主要是在微博Sentiment Analysis中的分类应用)以及在Python中利用Scikit-Learn提供的...
  • baimafujinji
  • baimafujinji
  • 2016年04月18日 11:38
  • 8135
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:斯坦福《机器学习》Lesson4感想--1、Logistic回归中的牛顿方法
举报原因:
原因补充:

(最多只允许输入30个字)