逻辑回归(对数几率回归logistic回归)

思想：将线性回归模型预测的输出映射到区间(0,1)之间。也就是用线性回归模型预测的结果去逼近真实标记的对数几率。
建立的回归模型为

这里P表示给定x前提下y=1的概率，因此建立的模型可以写为
在这里插入图片描述

因此可得

逻辑模型可以通过对数似然对参数w和b进行估计。
似然估计是在假设随机变量服从某个概率分布的情形下，给出参数估计的一种方法。似然函数是一个概率密度函数，表示在某个参数下样本数据发生的可能性。最大似然函数估计是如果存在某个参数，使得似然函数值最大，也就是概率最大，那么这个参数即为要估计的参数。(利用微积分中的对似然函数求导，找出使得导数为0的点)
在这里逻辑回归应用对数似然函数进行参数估计。具体求解过程如下。

首先给出似然函数

对数似然函数为

接下来可以应用梯度下降法，牛顿法，凸优化理论等进行求解。
有不足之处请多多批评指正，谢谢。