逻辑斯蒂回归法多元分类

返回目录

输出为包含多个值的离散序列。
y ∈ { s 1 , s 2 , . . . , s K } y\in \{ s_1, s_2, ..., s_K \} y∈{s1​,s2​,...,sK​}
其中：K为输出样本不同值的个数。

1.转化为多个二元分类。

将预测值$y$进行以下映射，可划分为$K$组：
$$z_k=\{\begin{array}{ll}1& (y=s_k)\\ 0& (y\ne s_k)\end{array}$$
其中：$k=1,2,...,K$。
转化为测试输入：$\vec{x}$，测试输出：$z_k$。
利用二元分类可得到${\vec{\theta }}^{(k)}$。
代入$h(\vec{x})$，有：
$$h_{(k)}(\overrightarrow{x_t})=\frac{1}{1+e^{-{{\vec{\theta }}^{(k)}}^T{\vec{x}}_t}}$$
其中：$\overrightarrow{x_t}$表示单个测试数据的输入向量。
这样可以得到$K$个假设，选择$h_{(k)}(\overrightarrow{x_t})$最大的假设，则输入测试向量$\overrightarrow{x_t}$的预测输出为$s_k$。

2.多元假设函数

假设函数：
$$h(\vec{x})=\frac{1}{1+{\sum }_{k=1}^{k=K-1}{e}^{-{{\vec{\theta }}^{(k)}}^T\vec{x}}}$$
其中：
$$\begin{array}{r}\vec{x}=[x_0,x_1,...,x_n{]}^T\in {\mathbb{R}}^{(n+1)\times 1}\\ {\vec{\theta }}^{(k)}=[{\theta }_0^{(k)},{\theta }_1^{(k)},...,{\theta }_n^{(k)}{]}^T\in {\mathbb{R}}^{(n+1)\times 1}\\ （n为特征个数）\end{array}$$
当测试输入$\vec{x}$时，得到正确预测值的概率为：
p = { h ( x ⃗ ) P ( y = s 1 ) ( 1 − h ( x ⃗ ) ) P ( y ≠ s 1 ) } ⋅ { h ( x ⃗ ) P ( y = s 2 ) ( 1 − h ( x ⃗ ) ) P ( y ≠ s 2 ) } ⋅ . . . { h ( x ⃗ ) P ( y = s K ) ( 1 − h ( x ⃗ ) ) P ( y ≠ s K ) } p=\{h(\vec x)^{P(y=s_1)}(1-h(\vec x))^{P(y\ne s_1)}\}\cdot \{h(\vec x)^{P(y=s_2)}(1-h(\vec x))^{P(y\ne s_2)}\}\cdot ...\{h(\vec x)^{P(y=s_K)}(1-h(\vec x))^{P(y\ne s_K)}\} p={h(x )P(y=s1​)(1−h(x ))P(y​=s1​)}⋅{h(x )P(y=s2​)(1−h(x ))P(y​=s2​)}⋅...{h(x )P(y=sK​)(1−h(x ))P(y​=sK​)}
所以有：
$$p=\prod _{k=1}^{k=K}(h(\vec{x}{)}^{P(y=s_k)}(1-h(\vec{x}){)}^{P(y\ne s_k)})$$
故似然函数：
$$l(\vec{\theta })=\prod _{i=1}^{i=m}\prod _{k=1}^{k=K}(h({\vec{x}}^{(i)}{)}^{P(y^{(i)}=s_k)}(1-h({\vec{x}}^{(i)}){)}^{P(y^{(i)}\ne s_k)})$$
两边取对数有：
$$L(\vec{\theta })=ln(l(\vec{\theta }))=\sum _{i=1}^{i=m}\sum _{k=1}^{k=K}(P(y^{(i)}=s_k)ln(h({\vec{x}}^{(i)}))+(1-P(y^{(i)}=s_k))(1-ln(h({\vec{x}}^{(i)})))$$
故代价函数：
$$J(\vec{\theta })=-\sum _{i=1}^{i=m}\sum _{k=1}^{k=K}(P_{y^{(i)}=s_k}ln(h({\vec{x}}^{(i)}))+(1-P_{y^{(i)}=s_k})ln(1-h({\vec{x}}^{(i)})))$$
其中：
y ⃗ = [ y ( 1 ) , y ( 2 ) , . . . , y ( m ) ] T y ( i ) ∈ { s 1 , s 2 , . . . , s K } （ m 为 测 试 样 本 个 数 ） \begin{aligned} &\vec{y}=[y^{(1)}, y^{(2)}, ...,y^{(m)}]^T\\ &y^{(i)}\in \{ s_1, s_2, ..., s_K \} \\ &（m为测试样本个数） \end{aligned} ​y ​=[y(1),y(2),...,y(m)]Ty(i)∈{s1​,s2​,...,sK​}（m为测试样本个数）​
梯度下降更新：
$${\theta }_j^{(t)}:={\theta }_j^{(t)}-\alpha \frac{\partial J(\vec{\theta })}{\partial {\theta }_j^{(t)}}$$
其中：$t=1,2,...,K-1$。
$$\begin{array}{rl}\frac{\partial J(\vec{\theta })}{\partial {\theta }_j^{(t)}}& =-\sum _{i=1}^{i=m}\sum _{k=1}^{k=K}(P_{y^{(i)}=s_k}ln(h({\vec{x}}^{(i)}))+(1-P_{y^{(i)}=s_k})ln(1-h({\vec{x}}^{(i)})))\\ & =\sum _{i=1}^{i=m}\sum _{k=1}^{k=K}(h({\vec{x}}^{(i)})-P_{y^{(i)}=s_k})x_j(\frac{e^{-{{\vec{\theta }}^{(t)}}^T\vec{x}}}{{\sum }_{u=1}^{u=K-1}{e}^{-{{\vec{\theta }}^{(u)}}^T\vec{x}}})\end{array}$$

返回目录