Logistic回归（原理与Facebook指标数据集的实验）

Logistic回归

分类问题

回归：假设现在有一些数据点，我们用一条直线对这些点进行拟合（该线称为最佳拟合直线），这个拟合过程就称作回归。
利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。
我们需要寻找函数将分类标记与线性回归模型输出联系起来。
单位阶跃函数：

通过单位阶跃函数公式可以看出该函数不连续，不可微。
因此我们选择Logistic函数作为替代函数，Logistic函数与单位阶跃函数的不同之处在于Logistic函数是单调可微且任意阶可导的，逻辑回归是拟合“y的sigmoid函数”。

sigmoid函数图像：

由sigmoid的函数图像可以看出：sigmoid函数图像为S型，若x轴的取值范围很大时，sigmoid函数图像就类似于单位阶跃函数，但sigmoid函数仍具有单调可微且任意阶可导的性质。
单调阶跃函数与sigmoid函数的区别：

极大似然估计

极大似然估计是求解未知参数的方法。假设有一些样本，则可以根据样本的概率密度累乘构造似然函数，再通过似然函数最大化（求导为零）进而求出未知参数。在计算过程当中，为了减少计算难度，通常将概率累乘转化为对数累加，再通过导数为零（极大值）来求解未知参数。
在Logistic回归当中，我们也可以用极大似然估计来求解出回归系数。
最大化对数似然函数：

记$\beta =(w;b),\hat{x}=(x;1)$，则$w^{T}x+b$简写为${\beta }^T$$\hat{x}$

令$p_1({\hat{x}}_i;\beta )=p(y=1|\hat{x};\beta )$,$p_0({\hat{x}}_i;\beta )=p(y=0|\hat{x};\beta )=1-p_1({\hat{x}}_i;\beta )$

则 p ( y i ∣ x i ; w i , b ) = y i p 1 ( x ^ i ; β ) + ( 1 − y i ) p 0 ( x ^ i ; β ) p(y_i|x_i;w_i,b)=y_ip_1(\widehat{x}_i;\beta)+(1-y_i)p_0(\widehat{x}_i;\beta) p(yi​∣xi​;wi​,b)=yi​p1​(x i​;β)+(1−y