机器学习逻辑回归总结

一.逻辑回归的定义

逻辑回归是一种广义的线性模型，用于二分类问题，其预测函数构h(x)造如下：
Sigmoid函数，函数形式为：

二.构造损失函数：

这里使用的是对数损失函数，它是基于最大似然估计推导的：

注意：不使用平方损失函数的原因是此时代价函数是非凸函数，存在多个极小值，不适合求解

三.参数更新过程：

这里使用的是梯度下降法来更新参数，过程如下：

注意：其中一步使用了g(z）函数的一个性质：g(z)的导数=g(z)(1-g(z))

四.正则化：

正则化是为了解决过拟合的影响，正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项或惩罚项。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化项就越大。

注意：J()有点错误，前面部分应该是对数损失函数，后面部分系数加上除以2m