理论--逻辑回归算法笔记

以下内容笔记出自‘跟着迪哥学python数据分析与机器学习实战’，外加个人整理添加，仅供个人复习使用。

---

1. 导入

逻辑回归就是将线性回归得到的值，通过Sigmoid函数转换为概率值。

那么逻辑回归如何求解呢？在线性回归中，我们是已知误差项服从正态分布，可知误差项趋于0时，概率值趋于1，我们找使得误差项最小的参数，也就是找使得概率值最大的参数（注意线性回归里面，这个概率正好是x与theta确定时，y的取值概率（将误差项的计算公式代入到误差项的分布函数式中，式子就转化为了y的概率分布函数）），通过极大似然估计，写出使得目标概率最大的目标函数方程式，进而推导。

这里逻辑回归也同样，采用同样的思想，找y的概率分布函数。
只是这里由x与theta确定的y取值概率有所不同。这里的y是二分类，要取何值是确定的。如果h(x)表示正例，1-h(x)表示负例概率，将其合并，那么由x与theta确定的y取值概率表示为：

2. 似然函数

这里依旧得到似然函数：

两边取对数：

3. 求解似然函数

与线性回归不同的是，线性回归里的极大似然最大值，化简之后等同于最小二乘求最小值，最小二乘估计求解目标函数最小值，用的是梯度下降。但在这里面，极大似然估计求解似然函数最大值，依然想办法转化为梯度下降问题，取目标函数的相反数：

依然按照梯度下降方法，求偏导：

参数更新：

这样即通过迭代优化的思想，找到最合适的参数。