逻辑回归

参考文献
1 文墨
https://www.cnblogs.com/sparkwen/p/3441197.html
2 Andrew NG. Logistic Regression Classification

逻辑回归(Logistic Regression, LR)模型其实仅在线性回归的基础上，套用了一个逻辑函数，但也就由于这个逻辑函数，使得逻辑回归模型成为了机器学习领域一颗耀眼的明星，更是计算广告学的核心。

LR逻辑函数

LR代价函数：

对于训练数据集，特征数据x={x₁, x₂, … , x_m}和对应的分类数据y={y₁, y₂, … , y_m}。构建逻辑回归模型f(θ)，最典型的构建方法便是应用极大似然估计。首先，对于单个样本，其后验概率为：

极大似然函数为：

log似然：

梯度下降

求逻辑回归模型f(θ)，等价于：

采用梯度下降法：

迭代θ至收敛即可：

将分类器用于分类多个目标

生成多个分类器，每个分类器为一个二元分类器，具体看图