- Author: 吕雪杰,xiaoran;
- Datawhale
Logistics Regression简介
逻辑回归是在数据服从伯努利分布的假设下,通过极大似然的方法,运用梯度下降法来求解参数,从而达到将数据二分类的目的。
核心公式 对于给定的数据集 ( x i , y i ) i = 1 N , y ∈ 0 , 1 (x_i,y_i)^N_{i=1},y \in {0,1} (xi,yi)i=1N,y∈0,1 p ( y = 1 ∣ x ) = e w T x + b 1 + e w T x + b p(y=1|x)=\frac{e^{w^T x+b}}{1+e^{w^T x+b}} p(y=1∣x)=1+ewTx+bewTx+b p ( y = 0 ∣ x ) = 1 1 + e w T x + b p(y=0|x)=\frac{1}{1+e^{w^T x+b}} p(y=0∣x)=1+ewTx+b1 设 g ( x ) = p ( y = 1 ∣ x ) , 1 − g ( x ) = p ( y = 0 ∣ x ) g(x)=p(y=1|x),1-g(x)=p(y=0|x) g(x)=p(y=1∣x),1−g(x)=p(y=0∣x) 似然函数为 ∏ i = 1 N [ g ( x i ) ] [ 1 − g ( x i ) ] 1 − y i \prod^N_{i=1} [g(x_i)] [1-g(x_i)]^{1-y_i} i=1∏N[g(xi