在介绍正则逻辑回归之前，先来介绍一下普通的逻辑回归。
1.逻辑回归
逻辑回归虽然叫回归，但其实是分类模型，同时也是一种判别式模型。(不理解概念的同学可以查看：判别式模型和生成式模型的区别 ）。
假设现在有 w 1 , w 2 , . . . , w k w_1,w_2,...,w_k w1,w2,...,wk一共 K K K种类别，X为描述样本个体的特征向量， X = ( X 1 , X 2 , . . . , X p ) T X=(X_1,X_2,...,X_p)^T X=(X1,X2,...,Xp)T。观测到一组带标签的样本为： ( x 1 , z 1 ) , ( x 2 , z 2 ) . . . ( x n , z n ) {(x_1,z_1),(x_2,z_2)...(x_n,z_n)} (x1,z1),(x2,z2)...(xn,zn)，每一个 x i x_i xi都包含p个特征值，并且：
z i k = { 1 , 如 果 x i ∈ w k 0 , 如 果 x i ∉ w k \begin{aligned} z_{ik}= \left\{ \begin{array}{lr} 1, 如果x_i\in w_k&\\ &\\ 0,如果x_i\notin w_k \end{array} \right. \end{aligned} zik=⎩⎨⎧1,如果xi∈wk0,如果xi∈/wk
那么 Z i Z_i Zi满足多项式分布： Z i Z_i Zi~ M ( p 1 ( x i ) , . . . , p k ( x i ) ) M(p_1(x_i),...,p_k(x_i)) M(p1(xi),...,pk(xi))且
p l ( x i ) = p ( w l ∣ x i ) = p ( w l ∣ x i ; β ) , ∀ l = 1 , . . . , K \begin{aligned} p_l(x_i)=p(w_l|x_i)=p(w_l|x_i;\beta), \forall l=1,...,K \end{aligned} pl(xi)=p(wl∣xi)=p(wl∣xi;β),∀l=1,...,K
2.参数估计
我们的目标就是估算后验概率 P ( w k ∣ x ) P(w_k|x) P(wk∣x)。使用到的模型是：
P ( w k ∣ x ) = e x p ( β k T x ) 1 + ∑ l = 1 K − 1 e x p ( β l T x ) , ∀ k = 1 , . . . , K − 1 P ( w k ∣ x ) = 1 1 + ∑ l = 1 K − 1 e x p ( β l T x ) , ∀ k = K \begin{aligned} &P(w_k|x)=\frac{exp(\beta_k^Tx)}{1+\sum_{l=1}^{K-1}exp(\beta_l^Tx)}, \forall k=1,...,K-1 \\ &P(w_k|x)=\frac{1}{1+\sum_{l=1}^{K-1}exp(\beta_l^Tx)} , \forall k=K \end{aligned} P(wk∣x)=1+∑l=1K−1exp(βlTx)exp(βkTx),∀k=1,...,K−1P(wk∣x)=1+∑l=1K−1exp(βlTx)1,∀k=K
我们的目标变成对于每一个类别 w k w_k w
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
