关闭

斯坦福《机器学习》Lesson4感想--1、Logistic回归中的牛顿方法

663人阅读 评论(0) 收藏 举报
分类:

       在上一篇中提到的Logistic回归是利用最大似然概率的思想和梯度上升算法确定θ,从而确定f(θ)。本篇将介绍另一种求解最大似然概率ℓ(θ)的方法,即牛顿迭代法。

在牛顿迭代法中,假设一个函数是,求解θ值使得f(θ)=0。在图1中可知,


图1

选择一个点,对应函数值为,并将对应的切线与x轴相交的点记为,所以 ,依此类推可知牛顿迭代规律。


 为了求得最大似然概率ℓ(θ),让,所以牛顿迭代方法确定最大似然概率的公式为:


在Logistic回归中,θ是一个向量。因此公式可表示为:


H是一个n*n的矩阵,被俗称为Hessian。


 

 

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:10006次
    • 积分:327
    • 等级:
    • 排名:千里之外
    • 原创:24篇
    • 转载:0篇
    • 译文:0篇
    • 评论:1条