逻辑回归Decision boundry的寻找思路：
对于给定的样本D=( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . . . . , ( x N , y N ) x_1,y_1),(x_2,y_2),......,(x_N,y_N) x1,y1),(x2,y2),......,(xN,yN)，逻辑回归首先假定有一个超平面 w T x + b = 0 w^Tx+b=0 wTx+b=0可以对其进行划分，当给定的样本特征使 w T x + b > 0 w^Tx+b>0 wTx+b>0时，将其分为正样本1，反之当 w T x + b < 0 w^Tx+b<0 wTx+b<0时，将其分为负样本0
假设出这个超平面后，下一步是寻找这个边界与分类的概率联系，直接对分类的概率建模，于是将样本空间映射到函数 F ( x ) = 1 1 + e − ( w T x + b ) F(x)=\frac{1}{1+e^-(w^Tx+b)} F(x)=1+e−(wTx+b)1中，处于决策边界上的点表示取得正例的概率和取得负例的概率相等
逻辑回归的求参过程利用了概率的特征，令 P ( Y = 1 ∣ x ) = p ( x ) , P ( Y = 0 ∣ x ) = 1 − p ( x ) P(Y=1|x)=p(x), P(Y=0|x)=1-p(x) P(Y=1∣x)=p(x),P(Y=0∣x)=1−p(x)，由于函数 F ( x ) F(x) F(x)的概率密度函数 f ( x ) f(x) f(x)为一条钟形曲线，为了使这条钟形曲线更好地拟合所有样本的分布情况，因此使用最大似然估计法求参数
似然函数 L ( w ) = ∏ [ p ( x i ) y i ] [ 1 − p ( x i ) 1 − y i ] L(w)=\prod_{}^{} {[p(x_i)^{y_i}]}[1-p(x_i)^{1-y_i}] L(w)=∏[p(xi)yi][1−p(xi)1−yi]，对等式两边同取对数，写成对数似然函数并一通化简为： L ( w ) = ∑ [ y i ( w ⋅ x i ) − l n ( 1 + e w ⋅ x i ) ] L(w)=\sum_{}{[y_i(w·x_i)-ln(1+e^{w·x_i})]} L(w)=∑[yi(w⋅xi)−ln(1+ew⋅xi)]
扫一扫
8万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
