本文为吴恩达《机器学习》课程的读书笔记,并用python实现。
前一篇讲了线性回归,这一篇讲逻辑回归,有了上一篇的基础,这一篇的内容会显得比较简单。
逻辑回归(logistic regression)虽然叫回归,但他做的事实际上是分类。这里我们讨论二元分类,即只分两类,y属于{0,1}。
选择如下的假设函数:
其中:
上式称为逻辑函数或S型函数,图像如下图:
可以看到,当z趋向正无穷,g(z)趋向1,当z趋向负无穷g(z)趋向0,即g(z)取值[0,1]。
同样,令 ,
现在我们要根据训练集,获取上面模型的最好参数 值。同样,可以通过最大似然函数的方法来求解。
假设:
合并上面两个式子: