网易公开课讲义2 Classification and logistic regression 笔记

1. logistic 回归和线性回归类似，区别是其将 线性回归后的结果再映射到一个函数(如Logistic/sigmoid 函数，值域(0,1) )中

    

当类别y满足伯努利分布、泊松分布时，函数选择logistic function 可以取得很好效果

LR是广义线性模型，把线性回归y=θ^T x的y换成ln[p/(1-p)]即得，p是p(y=1|x)

求参数θ，依然求最大似然估计，如下是假设y服从伯努利分布的公式。

对θ进行求偏导，可得到与线性回归相似的如下迭代公式