高级机器学习附加题

高级机器学习附加题

---

1. [10pts] Multi-Class Logistic Regression

教材的章节3.3 介绍了对数几率回归解决二分类问题的具体做法。假定现在的任务不再是二分类问题，而是多分类问题，其中 y ∈ { 1 , 2 , . . . , K } y\in \{1,2,...,K\} y∈{1,2,...,K}。请将对数几率回归算法拓展到该多分类问题。

1. [5pts] 给出该对率回归模型的“对数似然”(log-likelihood)。
2. [5pts]计算出该“对数似然”的梯度。

Solution

(1) [15pts] $\mathbf{x}$有$K$个标签，总共的标签数为$K$，那么所有的标签组合一共有$2^K$种，因为这$K$种标签之间的关系是独立的，我们可以对其中的一个标签$y_i(i=1,2,...,K)$进行分析。由已知 y i ∈ { 0 , 1 } y_i\in\{0,1\} yi​∈{0,1}，可以知道对于每一个标签而言，都是一个二分类问题，我们可以建立 $y_i$与$x$的对数几率函数：$$y_i=\frac{1}{1+e^{-z_i}},$$
因此，我们可以得到：$$\ln \frac{p(y_i=1|\mathbf{x})}{p(y_i=0|\mathbf{x})}={{\mathbf{w}}_{\mathbf{i}}}^T\mathbf{x}+b_i,$$
显然有：
$$p(y_i=1|\mathbf{x})=\frac{e^{{{\mathbf{w}}_{\mathbf{i}}}^T\mathbf{x}+b_i}}{1+e^{{{\mathbf{w}}_{\mathbf{i}}}^T\mathbf{x}+b_i}},$$
$$p(y_i=0|\mathbf{x})=\frac{1}{1+e^{{{\mathbf{w}}_{\mathbf{i}}}^T\mathbf{x}+b_i}}$$
同时我们可以构建矩阵$\mathbf{y}$、矩阵$\mathbf{W}$和矩阵$\mathbf{b}$:
$$\mathbf{y}=\left(\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_K\end{array}\right),\mathbf{W}=\left(\begin{array}{c}{\mathbf{w}}_1,{\mathbf{w}}_2,...{\mathbf{w}}_K\end{array}\right)\mathbf{b}=\left(\begin{array}{c}{b}_1\\ b_2\\ ...\\ b_K\end{array}\right)$$
$\mathbf{y}$的预测值$\mathbf{z}={\mathbf{W}}^T\mathbf{x}+\mathbf{b}$,
该对率回归模型的“对数似然”为：
$$\begin{array}{rl}\ell (\mathbf{W},\mathbf{b})& =\sum _{i=1}^m\ln p({\mathbf{y}}_i|{\mathbf{x}}_i)\\ & =\sum _{i=1}^m\ln \prod _{j=1}^{K}p(y_{ij}|{\mathbf{x}}_i)\\ & =\sum _{i=1}^m\sum _{j=1}^K\ln p(y_{ij}|{\mathbf{x}}_i)\\ & =\sum _{i=1}^m\sum _{j=1}^K(y_{ij}({\mathbf{w}}_j^T{\mathbf{x}}_i+b_j)-ln(1+e^{{\mathbf{w}}_j^T{\mathbf{x}}_i+b_j}))\end{array}$$

(2) [10pts]
令${\mathbf{\beta }}_{\mathbf{j}}=({\mathbf{w}}_j;b_j),\hat{\mathbf{x}}=(x;1),\mathbf{\beta }=(\mathbf{W},\mathbf{b})$，
从而可以将原式化为：
$$\ell (\mathbf{\beta })=\sum _{i=1}^m\sum _{j=1}^K(y_{ij}{{\mathbf{\beta }}_{\mathbf{j}}}^T\widehat{{\mathbf{x}}_{\mathbf{i}}}-ln(1+e^{{{\mathbf{\beta }}_{\mathbf{j}}}^T\widehat{{\mathbf{x}}_{\mathbf{i}}}}))$$
该对数似然的梯度计算如下：
$$\begin{array}{rl}\ell (\mathbf{\beta })& =\sum _{i=1}^m[(y_{ij}{{\mathbf{\beta }}_{\mathbf{j}}}^T\widehat{{\mathbf{x}}_{\mathbf{i}}}-ln(1+e^{{{\mathbf{\beta }}_{\mathbf{j}}}^T\widehat{{\mathbf{x}}_{\mathbf{i}}}}))+\sum _{k=1}^{j-1}(y_{ik}{{\mathbf{\beta }}_{\mathbf{k}}}^T\widehat{{\mathbf{x}}_{\mathbf{i}}}-ln(1+e^{{{\mathbf{\beta }}_{\mathbf{k}}}^T\widehat{{\mathbf{x}}_{\mathbf{i}}}}))\\ & +\sum _{k=j+1}^K(y_{ik}{{\mathbf{\beta }}_{\mathbf{k}}}^T\widehat{{\mathbf{x}}_{\mathbf{i}}}-ln(1+e^{{{\mathbf{\beta }}_{\mathbf{k}}}^T\widehat{{\mathbf{x}}_{\mathbf{i}}}}))]\end{array}$$
因此：
$$\begin{array}{rl}\frac{\partial \ell (\mathbf{\beta })}{\partial {\mathbf{\beta }}_{\mathbf{j}}}& =\frac{\partial ({\sum }_{i=1}^m[(y_{ij}{{\mathbf{\beta }}_{\mathbf{j}}}^T\widehat{{\mathbf{x}}_{\mathbf{i}}}-ln(1+e^{{{\mathbf{\beta }}_{\mathbf{j}}}^T\widehat{{\mathbf{x}}_{\mathbf{i}}}}))+C])}{\partial {\mathbf{\beta }}_{\mathbf{j}}}\\ & =\sum _{i=1}^m(y_{ij}\widehat{{\mathbf{x}}_{\mathbf{i}}}-\frac{\widehat{{\mathbf{x}}_{\mathbf{i}}}{e}^{{{\mathbf{\beta }}_{\mathbf{j}}}^T\widehat{{\mathbf{x}}_{\mathbf{i}}}}}{1+e^{{{\mathbf{\beta }}_{\mathbf{j}}}^T\widehat{{\mathbf{x}}_{\mathbf{i}}}}})\\ & =\sum _{i=1}^m(y_{ij}\widehat{{\mathbf{x}}_{\mathbf{i}}}-p(y_{ij}=1|\widehat{{\mathbf{x}}_{\mathbf{i}}})\widehat{{\mathbf{x}}_{\mathbf{i}}})\\ & =\sum _{i=1}^m(\widehat{{\mathbf{x}}_{\mathbf{i}}}(y_{ij}-p(y_{ij}=1|\widehat{{\mathbf{x}}_{\mathbf{i}}})))\end{array}$$
梯度如下：
$$\nabla \ell ({\beta }_1,{\beta }_2,...,{\beta }_K)=(\frac{\partial \ell (\mathbf{\beta })}{{\beta }_1},\frac{\partial \ell (\mathbf{\beta })}{{\beta }_2},...,\frac{\partial \ell (\mathbf{\beta })}{{\beta }_K}).$$

2. [10pts] 性能度量

我们有一些样本。我们希望将它们分为两类中的一个（0或1）。对于每个样本，分类器会给出一个分数（分数越接近于0，则分类器认为其为类0，分数越接近1则分类器认为其为类1）。以下是两个分类器对8个样本的给分($y_{C1},y_{C2}$)和每个样本的真实标记($y$)。

$y$	1	0	1	1	1	0	0	0
$y_{C1}$	0.7	0.4	0.3	0.9	0.45	0.6	0.5	0.2
$y_{C2}$	0.9	0.1	0.7	0.3	0.6	0.2	0.1	0.8

1. [5pts]请计算两个分类器的AUC (area under the ROC curve)。
2. [5pts] 令分类器$C_1$的划分阈值为0.33 (当$y_{C1}>0.33$时其被视为正类，否则为负类)。据此计算分类器$C_1$的混淆矩阵和$F_1$。相似地令分类器$C_2$的划分阈值为0.5。据此计算分类器$C_2$的混淆矩阵和$F_1$。

solution

(1) “损失” ${\ell }_{rank}=\frac{1}{m^{+}{m}^{-}}{\sum }_{x^{+}}{\sum }_{x^{-}}(I(f(x^{+})<f(x^{-}))+\frac{1}{2}I(f(x^{+})=f(x^{-})))$
对于分类器1: $AUC=\frac{{\sum }_{x^{+}}rank(x^{+})\frac{m^{+}\ast (m^{+}+1)}{2}}{m^{+}{m}^{-}}=\frac{8+7+4+2-\frac{4\ast 5}{2}}{4\ast 4}=\frac{11}{16}=0.6875$

对于分类器2: $AUC=\frac{{\sum }_{x^{+}}rank(x^{+})\frac{m^{+}\ast (m^{+}+1)}{2}}{m^{+}{m}^{-}}=\frac{8+6+5+4-\frac{4\ast 5}{2}}{4\ast 4}=\frac{13}{16}=0.8125$

(2) The class result by the new rules:

$y$	1	0	1	1	1	0	0	0
$y_{C1}$	1	1	0	1	1	1	1	0
$y_{C2}$	1	0	1	0	1	0	0	1

$$F_1=\frac{2\ast P\ast R}{P+R}$$
$$P=\frac{TP}{TP+FP}$$
$$R=\frac{TP}{TP+FN}$$
Among them: $F_1$ is the F-Measure. $P$ is the precision. $R$ is the recall.

The confusion matrix of classifier 1 and $F_{1}1$.

	Prediction
Reality		Truth	False	Total
	Truth	3	1	4
	False	3	1	4

The confusion matrix of classifier 2 and $F_{1}2$.

	Prediction
Reality		Truth	False	Total
	Truth	3	1	4
	False	1	3	4

So,
$$\begin{array}{rlrlr}{F}_{1}1& =\frac{2\ast P_1\ast R_1}{P_1+R_1}& =\frac{2\ast \frac{3}{3+3}\ast \frac{3}{3+1}}{\frac{3}{3+3}+\frac{3}{3+1}}& =\frac{2\ast \frac{1}{2}\ast \frac{3}{4}}{\frac{5}{4}}& =\frac{3}{5}\end{array}$$
$$\begin{array}{rlrlr}{F}_{1}2& =\frac{2\ast P_2\ast R_2}{P_2+R_2}& =\frac{2\ast \frac{1}{3+1}\ast \frac{1}{3+1}}{\frac{3}{3+1}+\frac{3}{3+1}}& =\frac{2\ast \frac{3}{4}\ast \frac{3}{4}}{\frac{3}{4}+\frac{3}{4}}& =\frac{3}{4}\end{array}$$

3. [15pts] 信息熵

试证明

$$Ent(D)=-\sum _{k=1}^{|\mathcal{Y}|}{p}_k{\log }_2{p}_k\le {\log }_2|\mathcal{Y}|$$

并给出等号成立的条件。

提示：可以利用琴生不等式(Jensen Inequality)。

solution

令
$$H(P)=-\sum _{k=1}^{|\mathcal{Y}|}{p}_k{\log }_2{p}_k,(\sum _{k=1}^{|\mathcal{Y}|}=1,0<p_k<1)$$

$$f(p)=-p{\log }_{2}p(0<p<1)$$

因为$f^{\prime \prime }(p)=-\frac{1}{pln2}<0在(0<p<1)上恒成立$，因此$f(p)$在(0,1)上为凸函数。

所以根据Jensen Inequality：

$$-\frac{{\sum }_{k=1}^{|\mathcal{Y}|}{p}_k{\log }_2{p}_k}{|\mathcal{Y}|}\le f(\frac{{\sum }_{k=1}^{|\mathcal{Y}|}{p}_k}{|\mathcal{Y}|})=-\frac{{\sum }_{k=1}^{|\mathcal{Y}|}{p}_k}{|\mathcal{Y}|}{\log }_2\frac{{\sum }_{k=1}^{|\mathcal{Y}|}{p}_k}{|\mathcal{Y}|}=-\frac{1}{|\mathcal{Y}|}lo{g}_2\frac{1}{|\mathcal{Y}|}=\frac{1}{|\mathcal{Y}|}lo{g}_2|\mathcal{Y}|$$

所以，综上，$$Ent(D)=-\sum _{k=1}^{|\mathcal{Y}|}{p}_k{\log }_2{p}_k\le {\log }_2|\mathcal{Y}|$$