斯坦福《机器学习》Lesson4感想--1、Logistic回归中的牛顿方法

原创 2015年07月07日 16:02:07

       在上一篇中提到的Logistic回归是利用最大似然概率的思想和梯度上升算法确定θ,从而确定f(θ)。本篇将介绍另一种求解最大似然概率ℓ(θ)的方法,即牛顿迭代法。

在牛顿迭代法中,假设一个函数是,求解θ值使得f(θ)=0。在图1中可知,


图1

选择一个点,对应函数值为,并将对应的切线与x轴相交的点记为,所以 ,依此类推可知牛顿迭代规律。


 为了求得最大似然概率ℓ(θ),让,所以牛顿迭代方法确定最大似然概率的公式为:


在Logistic回归中,θ是一个向量。因此公式可表示为:


H是一个n*n的矩阵,被俗称为Hessian。


 

 

相关文章推荐

斯坦福《机器学习》Lesson6感想———1、函数间隔和几何间隔

这一课主要是从如何判断一个机器学习分类算法里拟合的参数是最佳参数引出函数间隔和几何间隔的定义。   1、函数间隔     假设假想函数,,那么可以知道y=1;反之则y=0 。所以当,我们可以很确定的...

斯坦福《机器学习》Lesson7感想———1、最优间隔分类器

从上一课可知,对于给定的线性可分的数据集,离分隔超平面最近的点是支持向量。而支持向量与分隔超平面间的距离越远,则说明最后算法的预测结果越可信。这课的核心就在于如何确定最佳的分隔超平面,即最优间隔分类器...

【机器学习-斯坦福】学习笔记3 - Logistic回归

欠拟合与过拟合概念 本次课程大纲: 1、  局部加权回归:线性回归的变化版本 2、  概率解释:另一种可能的对于线性回归的解释 3、  Logistic回归:基于2的一个分类算法 4、  感...

斯坦福大学机器学习笔记(5)-logistic回归的优化

如前所述,回归是使用函数来模拟样本的。logistic回归,是对取值为0或1的布尔值的模拟。logistic回归中使用的函数的值域为[0, 1],可以视为布尔输出为1的一个概率值。 已知包含mm个元...

线性回归、logistic回归、广义线性模型——斯坦福CS229机器学习个人总结(一)

CS229第一份讲义,包括线性回归、logistic回归、广义线性模型。

斯坦福机器学习: 网易公开课系列笔记(三)——局部加权回归、logistic回归

在上一节中,我们讲到了线性回归的梯度下降和最小二乘的求解方法,但是实际当中,大部分问题并不是线性的,如果用线性方程去拟合这些数据,误差会非常大。       下图中最左边的,是我们用y=Θ0+Θ1x...

【机器学习-斯坦福】学习笔记4 - 牛顿方法

牛顿方法 本次课程大纲: 1、  牛顿方法:对Logistic模型进行拟合 2、 指数分布族 3、  广义线性模型(GLM):联系Logistic回归和最小二乘模型   复习: Logistic...

斯坦福《机器学习》Lesson5感想———2、朴素贝叶斯算法

朴素贝叶斯算法与上篇中写到到生成学习算法的思想是一致的。它不需要像线性回归等算法一样去拟合各种假设的可能,只需要计算各种假设的概率,然后选择概率最高的那种假设分类类别。其中还添入了一个贝叶斯假定:在给...

【机器学习-斯坦福】学习笔记4 ——牛顿方法;指数分布族; 广义线性模型(GLM)

牛顿方法 本次课程大纲: 1、  牛顿方法:对Logistic模型进行拟合 2、 指数分布族 3、  广义线性模型(GLM):联系Logistic回归和最小二乘模型   复习: Logi...

【机器学习-斯坦福】学习笔记4 - 牛顿方法

原帖地址:http://blog.csdn.net/maverick1990/article/details/12564973 牛顿方法 本次课程大纲: 1、  牛顿方法:对Lo...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:斯坦福《机器学习》Lesson4感想--1、Logistic回归中的牛顿方法
举报原因:
原因补充:

(最多只允许输入30个字)