斯坦福吴恩达CS229机器学习 P4牛顿方法

逻辑回归(牛顿法)
指数分不族
广义线性模型;将逻辑回归和最小二乘模型联系在一起。
极大似然估计模型
(1)初始化thta，参数可初始化为0；
(2) delta=f(thta0)/f’(thta0)
thta1=thta0-delta=thta0-f(thta0)/f’(thta0);
牛顿方法的一次迭代：
thta(t+1)=thta(t)-delta=thta(t)-f(thta(t))/f’(thta(t));
thta(t+1)=thta(t)-delta=thta(t)-l’(thta(t))/l’’(thta(t));
使l(thta)最大化，l’(thta)=0；
找到一个点，使其导数为0；找到局部最优解；
牛顿法是一个收敛速度非常快的方法。（二次收敛）：误差会变成之前的平方。