Classification and logistic regression

<网页blog已经上线，一大波干货即将来袭：https://faiculty.com/>

/* 版权声明：可以任意转载，转载时请务必标明文章原始出处和作者信息 .*/

faiculty: 机器学习、计算机视觉交流群：451429116  

微信公众号、知乎专栏、简书，请搜索： faiculty

本专栏主要为学习记录，可能综合了网上各类文章或博客，如有侵权请联系本人进行删除。  
QQ：769412850.

非常期待各位同学投稿，一起学习。

---

logistic 回归

1.问题：

在上面讨论回归问题时，讨论的结果都是连续类型，但如果要求做分类呢？即讨论结果为离散型的值。

2.解答：

• 假设：
  其中：
  $g(z)$的图形如下：
  
  由此可知：当$h_\theta(x)$<0.5时我们可以认为为0，反之为1，这样就变成离散型的数据了。

• 推导迭代式：

  • 利用概率论进行推导，找出样本服从的分布类型，利用最大似然法求出相应的$\theta$
  • 
  • 因此：
    

• 结果：

• 注意：这里的迭代式增量迭代法

Newton迭代法：

1.问题：

上述迭代法，收敛速度很慢，在利用最大似然法求解的时候可以运用Newton迭代法，即$\theta$ := $\theta - \frac{f(\theta)}{f^{'}(\theta)}$

2.解答：

• 推导：

  • Newton迭代法是求$\theta$，且$f(\theta) = 0$，刚好：$l^{'}(\theta) = 0$
  • 所以可以将Newton迭代法改写成：

• 定义：

  • 其中：