周志华西瓜书《机器学习》习题提示——第11章

习题提示

11.1：
直接用【西瓜书11.2节】的Relief过滤式特征选择方法。

11.2：
参见11.2 过滤式选择（“近墨者黑”，近多少？）第二部分“Relief是处理二分类问题，将其推广到处理多分类问题，即为Relief-F”的讨论。

11.3：
参见11.2 过滤式选择（“近墨者黑”，近多少？）中最后一段的描述。

11.4：
对LVW算法加一个总时长控制：$tt<TT$（为与算法中的$t,T$区别，这里用双写），即【西瓜书图11.1 】算法中：

增加输入$TT$；第4至5句间插入初始化：$tt=0$；第16至17句间插入：$tt=tt+1;if(tt==TT)return;$

11.5：
考虑二维情况，岭回归【西瓜书(11.6)】中的第一项为二次曲线C：
$$\begin{array}{r}f(w_1,w_2)=(y-(w_1{x}_1+w_2{x}_2){)}^2\end{array}\text{\hspace{1em}(1)}$$
其黑塞矩阵为：
$$\begin{array}{r}\left(\begin{array}{cc}\frac{{\partial }^{2}f}{\partial w_1^2}& \frac{{\partial }^{2}f}{\partial w_1\partial w_2}\\ \frac{{\partial }^{2}f}{\partial w_2\partial w_1}& \frac{{\partial }^{2}f}{\partial w_2^2}\end{array}\right)=2\left(\begin{array}{cc}{x}_1^2& x_1{x}_2\\ x_1{x}_2& x_2^2\end{array}\right)\end{array}\text{\hspace{1em}(2)}$$
显然，它是半正定的，我们取正定，由凸函数的判定定理知，二次曲线C式(1)是凸的，即【西瓜书图11.2】所示合理，故C的等值线（簇）既会与$L_1$的等值线相交于一点，也会与$L_2$的等值线相交于一点，即交点不会在坐标轴上？？？，即得到的不是稀疏解。

11.6：
比较【西瓜书(11.6)】（岭回归）和【西瓜书(6.8)】（支持向量机的拉格朗日函数），有：
1、均有$||\mathbf{w}|{|}^2$项，即$L_2$的平方；
2、 均有和式项；
3、和式项中一个是二次项，一个是一次项；
4、岭回归为二次曲线与圆相切，支持向量机的情形则是直线与圆相切。

11.7：
$||\mathbf{x}|{|}_0$为向量$\mathbf{x}$中非零元素的个数（没有解析表达式）。 采用它进行正则化，则：
$$\begin{array}{r}\underset{\mathbf{x}}{\min }f(\mathbf{x})+\lambda ||\mathbf{x}|{|}_0\end{array}\text{\hspace{1em}(3)}$$

它有两方面的自由度：
-其值$k$；
-非零元素的位置。

若采用近端梯度下降的思路，则转化为：
$$\begin{array}{r}{\mathbf{x}}_{k+1}=\underset{\mathbf{x}}{\mathrm{argmin}}\frac{L}{2}||\mathbf{x}-\mathbf{z}|{|}_2^2+\lambda ||\mathbf{x}|{|}_0\end{array}\text{\hspace{1em}(4)}$$
其中，$L,\mathbf{z}$为已知，$\lambda$为参数，由于约束项$||\mathbf{x}|{|}_0$不能解析表达，故式(4)求解问题，将其转化为$||\mathbf{x}|{|}_1$，即得到【西瓜书(11.13)】。

11.8：
参见11.4 嵌入式选择与L1正则化（将特征选择嵌入到优化算法中，以LASSO算法为代表）中式(11.14)
​的推导过程。

11.9：
有如下几点：
1、二者都是以$L_1$替代$L_0$；
2、二者在求解过程中均用到LASSO的PGD解法；
3、稀疏性使得【西瓜书(11.18)】中的${\mathbf{E}}_i$易于进行奇异值分解；
4、压缩感知需要符合K-RIP条件【西瓜书(11.21)】。

11.10：
在第10章讨论LLE时，就是一种分组（依近邻$Q_i$），现在固定字典集（编码矩阵）： D = { d j } j = 1 D \mathcal{D} =\{\boldsymbol{d}_j\}_{j=1}^{D} D={dj​}j=1D​（${\mathbf{d}}_j$为列向量），对一组样本 { x i } , i ∈ G \{\boldsymbol{x}_i\},i\in \mathcal{G} {xi​},i∈G，求符合要求的编码集 { α i } \{\boldsymbol{\alpha }^i\} {αi}，从而使得 A = { α j } j = 1 ∣ D ∣ \mathcal{A} =\{\boldsymbol{\alpha}_j\}_{j=1}^{|D|} A={αj​}j=1∣D∣​。
$$\begin{array}{rl}\underset{\mathcal{A}}{\min }Q(\mathcal{A},\mathcal{G},\mathcal{D})& =\frac{1}{2}\sum _{i\in \mathcal{G}}||{\mathbf{x}}_i-D{\mathbf{\alpha }}^i|{|}_2^2+\lambda \sum _{j=1}^{|D|}||{\mathbf{\alpha }}_j|{|}_p\\ & =\frac{1}{2}\sum _{i\in \mathcal{G}}\left|\right|{\mathbf{x}}_i-\sum _{j=1}^{|D|}{\alpha }_j^i{\mathbf{d}}_j|{|}_2^2+\lambda \sum _{j=1}^{|D|}||{\mathbf{\alpha }}_j|{|}_p\\ & s.t。\forall j:[({\alpha }_j^i>0,\forall i)or({\alpha }_j^i=0,\forall i)]\end{array}\text{\hspace{1em}(5)}$$
约束条件表示该组样本编码后，每一个特征具有捆绑关系，即要么全为0，要么全为正（负）。

采用变量交替（逐列更新）方法求解，即求${\mathbf{\alpha }}_r$时，将其余列视为常数。

为求${\mathbf{\alpha }}_r$，将其从$Q(\mathcal{A},\mathcal{G},\mathcal{D})$中分离出来：
$$\begin{array}{rl}Q({\mathbf{\alpha }}_r)& =\frac{1}{2}\sum _{i\in \mathcal{G}}\left|\right|{\mathbf{x}}_i-\sum _{j\ne r}^{|D|}{\alpha }_j^i{\mathbf{d}}_j-{\alpha }_r^i{\mathbf{d}}_r|{|}_2^2+\lambda ||{\mathbf{\alpha }}_r|{|}_p+\lambda \sum _{j\ne r}^{|D|}||{\mathbf{\alpha }}_j|{|}_p\\ & =\sum _{i\in \mathcal{G}}\left(\sum _{j\ne r}^{|D|}{\alpha }_j^i{\alpha }_r^i{\mathbf{d}}_j^{\mathrm{T}}{\mathbf{d}}_r-{\alpha }_r^i{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{d}}_r+\frac{1}{2}{{\alpha }_r^i}^2||{\mathbf{d}}_r|{|}^2\right)+\lambda ||{\mathbf{\alpha }}_r|{|}_p\\ & +\text{（与αr无关的项）}\end{array}\text{\hspace{1em}(6)}$$
$$\begin{array}{r}\frac{\partial Q({\mathbf{\alpha }}_r)}{\partial {\alpha }_r^i}=-{\mu }_r^i+{\alpha }_r^i||{\mathbf{d}}_r|{|}^2+\lambda \frac{\partial }{\partial {\alpha }_r^i}||{\mathbf{\alpha }}_r|{|}_p\end{array}\text{\hspace{1em}(7)}$$
其中，${\mu }_r^i=-{\sum }_{j\ne r}^{|D|}{\alpha }_j^i{\mathbf{d}}_j^{\mathrm{T}}{\mathbf{d}}_r+{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{d}}_r$

情形1：取$p=1$
$$\begin{array}{rl}\frac{\partial }{\partial {\alpha }_r^i}||{\mathbf{\alpha }}_r|{|}_p& =\frac{\partial }{\partial {\alpha }_r^i}[|{\alpha }_r^i|+\text{（与αri无关的项）}]\\ & =1or0\text{（因αri⩾0）}\end{array}\text{\hspace{1em}(8)}$$

本应找$\frac{\partial Q({\mathbf{\alpha }}_r)}{\partial {\alpha }_r^i}=0$，但不一定能找到，求其次：让其尽量接近于0，即考虑何时达到目标$\underset{{\alpha }_r^i}{\min }\left|\frac{\partial Q({\mathbf{\alpha }}_r)}{\partial {\alpha }_r^i}\right|$。
$$\begin{array}{rl}\frac{\partial Q({\mathbf{\alpha }}_r)}{\partial {\alpha }_r^i}& =-{\mu }_r^i+{\alpha }_r^i||{\mathbf{d}}_r|{|}^2+\lambda [1or0]\\ & ={\alpha }_r^i||{\mathbf{d}}_r|{|}^2+[(\lambda or0)-{\mu }_r^i]\end{array}\text{\hspace{1em}(9)}$$
(1)当$[0-{\mu }_r^i]>0$时，又${\alpha }_r^i⩾0$，即当${\alpha }_r^i=0$时达到目标；\
(2)当$[\lambda -{\mu }_r^i]>0$时，即${\mu }_r^i<\lambda$，即当${\alpha }_r^i=0$时达到目标；\
(3)当$[\lambda -{\mu }_r^i]⩽0$时，即${\mu }_r^i⩾\lambda$，即当
$${\alpha }_r^i=\frac{{\mu }_r^i-\lambda }{||{\mathbf{d}}_r|{|}^2}$$时达到目标；

综合(1)(2)(3)，其中，(1)包含了${\mu }_r^i=0$，故(2)(3)中可限定${\mu }_r^i>0$，记 ( μ r i ) + = max ⁡ { 0 , μ r i } ({\mu}_r^i)^+=\max\{0,{\mu}_r^i\} (μri​)+=max{0,μri​}
$$\begin{array}{r}{\alpha }_r^i=\{\begin{array}{l}0,(when({\mu }_r^i{)}^{+}⩽\lambda )\\ \frac{({\mu }_r^i{)}^{+}-\lambda }{||{\mathbf{d}}_r|{|}^2},(otherwise)\end{array}\end{array}\text{\hspace{1em}(10)}$$

情形2：取$p=2$

虽然${\alpha }_r^i$不易从$||{\mathbf{\alpha }}_r|{|}_2$中分离，整体反而方便：
$$\begin{array}{r}\frac{\partial ||{\mathbf{\alpha }}_r|{|}_2}{\partial {\mathbf{\alpha }}_r}=\frac{{\mathbf{\alpha }}_r}{||{\mathbf{\alpha }}_r||}\end{array}\text{\hspace{1em}(11)}$$
其中，省略了$L_2$的标识（下同）。
$$\begin{array}{r}\frac{\partial Q}{\partial {\mathbf{\alpha }}_r}=||{\mathbf{d}}_r|{|}^2{\mathbf{\alpha }}_r-{\mathbf{\mu }}_r+\lambda \frac{{\mathbf{\alpha }}_r}{||{\mathbf{\alpha }}_r||}\end{array}\text{\hspace{1em}(12)}$$
令$\frac{\partial Q}{\partial {\mathbf{\alpha }}_r}=0$，则：
$$\begin{array}{rl}{\mathbf{\alpha }}_r& =(||{\mathbf{d}}_r|{|}^2+\frac{\lambda }{||{\mathbf{\alpha }}_r||}{)}^{-1}{\mathbf{\mu }}_r\\ & =S_r{\mathbf{\mu }}_r\end{array}\text{\hspace{1em}(13)}$$
其中：
$$\begin{array}{rl}{S}_r& =(||{\mathbf{d}}_r|{|}^2+\frac{\lambda }{||{\mathbf{\alpha }}_r||}{)}^{-1}\\ & =(||{\mathbf{d}}_r|{|}^2+\frac{\lambda }{||S_r{\mathbf{\mu }}_r||}{)}^{-1}\end{array}\text{\hspace{1em}(14)}$$
由式(13)(14)有：
$$\begin{array}{r}{\mathbf{\alpha }}_r=\frac{1}{||{\mathbf{d}}_r|{|}^2}\left(1-\frac{\lambda }{||{\mathbf{\mu }}_r||}\right){\mathbf{\mu }}_r\end{array}\text{\hspace{1em}(15)}$$
因分组的捆绑限定，由式(10)的讨论知，只需考虑：
μ r + = ( ( μ r 1 ) +   ( μ r 2 ) +   ⋯   ( μ r ∣ D ∣ ) + ) T ( μ r i ) + = max ⁡ { 0 , μ r i } \begin{align} \boldsymbol{\mu}_r^+=(({\mu}_r^1)^+\ ({\mu}_r^2)^+\ \cdots \ ({\mu}_r^{|D|})^+)^{\mathrm{T}} ({\mu}_r^i)^+=\max\{0,{\mu}_r^i\} \tag{16} \end{align} μr+​=((μr1​)+ (μr2​)+ ⋯ (μr∣D∣​)+)T(μri​)+=max{0,μri​}​(16)​
显然，只有$||{\mathbf{\mu }}_r^{+}||>\lambda$才有${\mathbf{\alpha }}_r$全正。 综上有：
$$\begin{array}{r}{\mathbf{\alpha }}_r=\{\begin{array}{ll}\frac{1}{||{\mathbf{d}}_r|{|}^2}\left(1-\frac{\lambda }{||{\mathbf{\mu }}_r||}\right){\mathbf{\mu }}_r^{+},& (when||{\mathbf{\mu }}_r^{+}||>\lambda )\\ 0,& (otherwise)\end{array}\end{array}\text{\hspace{1em}(17)}$$

上述讨论了一组样本 { x i } , i ∈ G \{\boldsymbol{x}_i\},i\in \mathcal{G} {xi​},i∈G的表达向量 { α i } , i ∈ G \{\boldsymbol{\alpha}^i\},i\in \mathcal{G} {αi},i∈G具有这样的特点：它的分量要么全为0，要么全为正（或全为负），其转置${\mathbf{A}}^{\mathrm{T}}=({\mathbf{\alpha }}_1{\mathbf{\alpha }}_2\cdots {\mathbf{\alpha }}_d)$按列具有该特点。

假定全体样本集分为$n$组，第$m$组下标为${\mathcal{G}}_m,(m=1,2,\cdots ,n)$，第$m$组的样本为 { x i } i ∈ G m \{\boldsymbol{x}_i\}_{i\in \mathcal{G}_m} {xi​}i∈Gm​​，则对每组使用式(5)求得${\alpha }_r^i$（情形1：$p=1$的解：式(10)）或${\mathbf{\alpha }}_r$（情形2：$p=2$的解：式(17)），即得到第$m$组的样本通过字典编码后的表达为${\mathbf{A}}_m$。
将 { A m } m = 1 n \{\mathbf{A}_m\}_{m=1}^n {Am​}m=1n​拼接成：$\mathbf{A}=({\mathbf{A}}_1{\mathbf{A}}_2\cdots {\mathbf{A}}_n)$。

现在切换到：已知上述分组${\mathcal{G}}_m,(m=1,2,\cdots ,n)$及每组的编码${\mathbf{A}}_m$，求字典矩阵：$\mathbf{D}=({\mathbf{d}}_1{\mathbf{d}}_2\cdots {\mathbf{d}}_{|D|})$。

该问题的最小目标表达式为：
$$\begin{array}{r}Q(\mathbf{D})=\sum _{m=1}^{n}Q({\mathcal{A}}_m,{\mathcal{G}}_m,\mathcal{D})+\gamma \sum _{k=1}^{|D|}||{\mathbf{d}}_k|{|}_p\end{array}\text{\hspace{1em}(18)}$$
其中，$Q({\mathcal{A}}_m,{\mathcal{G}}_m,\mathcal{D})$为式(5)。

令$p=0$，讨论梯度：$\frac{\partial Q(\mathbf{D})}{\partial {\mathbf{d}}_r}=0$，即可得解（从略）。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：周志华西瓜书《机器学习》习题提示——第10章
下一篇：12.1 概念类与假设空间的关系（几乎、近似、覆盖）