（《机器学习》完整版系列）第11章 特征选择与稀疏学习——11.5 稀疏表示与字典学习（字典、词频、文档的特征）

当我们把文档当作样本，词汇当作属性，属性的取值为该词汇在文档中占比（个数/总词汇数）——词频统计表
“词典”有对词的“释义”，取该词属于某一类的可能性（隶属度）作为其“释义”——词典矩阵
采用变量交替优化策略求解，用到矩阵的奇异值分解

稀疏表示与字典学习

通常我们用二维表格的形式表示数据集$D$：

• 每行表示一个样本。
• 每列代表一个属性（特征）。

当我们把文档当作样本，词汇当作属性，属性的取值为该词汇在文档中占比（个数/总词汇数），则有表11.5。

显然，表11.5 中表体（词汇统计）会出现很多0，因为，在一个文档中出现的词汇在另一个文档中不一定出现，特别是不同类型的文档放在一起更是如此，故该表体是稀疏的。 表11.5 中的表头{词汇1，词汇2，词汇3，$\cdots$，词汇d}可视“字典”或“词典”。

“词典”有对词的“释义”，取该词属于某一类的可能性（隶属度）作为其“释义”，现在我们将“词典”视为一本“体育词典"，在表11.5 中加上“释义”形成表 11.6 。

由表 11.6 可以得到文档的体育性质的评分，如，文档1属于体育类文章的评分为
$$(1,0.2,0.6,\cdots ,0.3)(2\%,0,5\%,\cdots ,1.6\%{)}^{\mathrm{T}}$$

现在我们在表 11.6 中添加文艺释义、新闻释义，等等，形成一本综合词典，表 11.6 变成了表 11.7 。

则文档1属于各类的评分为：

体育类得分：$(1,0.2,0.6,\cdots ,0.3)(2\%,0,5\%,\cdots ,1.6\%{)}^{\mathrm{T}}$

文艺类得分：$(0,0.7,0.1,\cdots ,1)(2\%,0,5\%,\cdots ,1.6\%{)}^{\mathrm{T}}$

$\cdots \cdots$

将其用一个式子表示，即为

$$\begin{array}{r}\left(\begin{array}{c}\text{体育类得分}\\ \text{文艺类得分}\\ ⋮\end{array}\right)=\left(\begin{array}{ccccc}1& 0.2& 0.6& \cdots & 0.3\\ 0& 0.7& 0.1& \cdots & 1\\ ⋮& ⋮& ⋮& ⋮& ⋮\end{array}\right)\left(\begin{array}{c}2\%\\ 0,5\%\\ ⋮\\ 1.6\%\end{array}\right)\end{array}$$
将上述讨论总结为
$$\begin{array}{r}\mathbf{x}=\mathbf{B}\mathbf{\alpha }\end{array}\text{\hspace{1em}(11.15)}$$

若用于多份文档，加个文档编号下标即可。
$$\begin{array}{r}{\mathbf{x}}_i=\mathbf{B}{\mathbf{\alpha }}_i\end{array}\text{\hspace{1em}(11.16)}$$
其中，$\mathbf{B}$即为字典矩阵，它有$k$列代表着有$k$个词汇（$k$即为词汇量），它有$d$行，每行是一个主题（如，第一行为体育），即有$d$个主题，值为各词汇对各主题的隶属度（如，排球对体育主题的隶属度为1），$i$为文档编号，${\mathbf{x}}_i$为列向量，分量对应为属于该行主题的得分（如，第一行为体育），${\mathbf{\alpha }}_i$为列向量，它为文档$i$中各词汇的频度统计。

式(11.16)将文档$i$的词频表达（${\mathbf{\alpha }}_i$）转换成了主题表达（${\mathbf{x}}_i$），转换后，通过比效${\mathbf{x}}_i$的分量就可以判断该文档是哪一类主题，如，体育和新闻主题得分高，就可知道该文档是一篇体育新闻。

观察式(11.16)，${\mathbf{x}}_i$为$d$维，${\mathbf{\alpha }}_i$为$k$维，$d\ll k$，但${\mathbf{\alpha }}_i$为稀疏的，因此，${\mathbf{\alpha }}_i$可以视为${\mathbf{x}}_i$的稀疏表达。 由此，已知${\mathbf{x}}_i$求其稀疏表达，这时需要字典$\mathbf{B}$。 当不知道字典时，就需要进行字典学习，这时，可从【西瓜书式(11.15)】出发进行字典学习。

由于【西瓜书式(11.15)】中有两个变量（$\mathbf{B}$和${\mathbf{\alpha }}_i$），故采用变量交替优化策略求解。

问题1：固定$\mathbf{B}$求${\mathbf{\alpha }}_i(i=1,2,\cdots ,m)$，其优化目标为
$$\begin{array}{r}\underset{{\mathbf{\alpha }}_i}{\min }||{\mathbf{x}}_i-\mathbf{B}{\mathbf{\alpha }}_i|{|}_2^2+{\lambda }_i||{\mathbf{x}}_i|{|}_1\end{array}\text{\hspace{1em}(11.17)}$$

问题2：固定${\mathbf{\alpha }}_i(i=1,2,\cdots ,m)$求$\mathbf{B}$，其优化目标为
$$\begin{array}{r}\underset{\mathbf{B}}{\min }||\mathbf{X}-\mathbf{BA}|{|}_F^2\end{array}\text{\hspace{1em}(11.18)}$$
其中，$\mathbf{X}=({\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_m),\mathbf{A}=({\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,\cdots ,{\mathbf{\alpha }}_m)$，且已知$\mathbf{X}$。

变量交替优化策略就是将原问题【西瓜书式(11.15)】的求解转化为交替地求解问题1和问题2，反复迭代直到某结束条件被满足。

问题1的求解可使用PGD【西瓜书式(11.8)】的方式求解，注意：需要求解$m$次，每次得到一个${\mathbf{\alpha }}_i(i=1,2,\cdots ,m)$。

问题2的求解采用KSVD对其逐列更新，它实际上也是采用变量交替优化策略。 这里重点讲一下该方法。
设
$$\begin{array}{r}\mathbf{B}=({\mathbf{b}}_1,{\mathbf{b}}_2,\cdots ,{\mathbf{b}}_k)\end{array}\text{\hspace{1em}(11.19)}$$
其中，${\mathbf{b}}_j$为列向量。 这样，矩阵$\mathbf{B}$视为$k$个未知向量，采用变量交替优化策略：固定$k-1$个求其中一个向量${\mathbf{b}}_i$。 从${\mathbf{b}}_1$到${\mathbf{b}}_k$逐个求一遍算作一轮，可以进行多轮迭代。

下面求${\mathbf{b}}_i$，将矩阵$\mathbf{A}$视为行向量组成，即
$$\begin{array}{r}\mathbf{A}=({\mathbf{\alpha }}^1;{\mathbf{\alpha }}^2;\cdots ;{\mathbf{\alpha }}^k)\end{array}\text{\hspace{1em}(11.20)}$$
式(11.18)已将矩阵$\mathbf{A}$视为列向量组成（下标表示），这里又视为行向量组成（上标表示），它们的关系体现在矩阵$\mathbf{A}$的元素表示为 $(\mathbf{A}{)}_{ij}={\alpha }_j^i$。

将式(11.19)、式(11.20)代入式(11.18)，有
$$\begin{array}{rl}\left|\right|\mathbf{X}-\mathbf{BA}|{|}_F^2& =\left|\right|\mathbf{X}-\sum _{j=1}^k{\mathbf{b}}_j{\mathbf{\alpha }}^j|{|}_F^2\\ & =\left|\right|(\mathbf{X}-\sum _{j\ne i}^k{\mathbf{b}}_j{\mathbf{\alpha }}^j)-{\mathbf{b}}_i{\mathbf{\alpha }}^i|{|}_F^2\\ & =\left|\right|{\mathbf{E}}_i-{\mathbf{b}}_i{\mathbf{\alpha }}^i|{|}_F^2\end{array}\text{\hspace{1em}(11.21)}$$
其中，${\mathbf{E}}_i=\mathbf{X}-{\sum }_{j\ne i}^k{\mathbf{b}}_j{\mathbf{\alpha }}^j$为已知矩阵（由于上述的固定）。

优化目标式(11.18)变为
$$\begin{array}{r}\underset{{\mathbf{b}}_i}{\min }\left|\right|{\mathbf{E}}_i-{\mathbf{b}}_i{\mathbf{\alpha }}^i|{|}_F^2\end{array}\text{\hspace{1em}(11.22)}$$
求解式(11.22)归结为对${\mathbf{E}}_i$进行奇异值分解（参见【西瓜书附录式(A.34)】），为保证奇异值分解过程不影响在求解问题1时获得的$\mathbf{A}$的稀疏性，我们对式(11.22)作特殊处理（“瘦身”）再求解：

（1）由$\mathbf{A}$的稀疏性知${\mathbf{\alpha }}^i$中会有许多零元素，将行向量${\mathbf{\alpha }}^i$的零元素删除，得到$({\mathbf{\alpha }}^i{)}^{\prime }$。

（2）矩阵${\mathbf{E}}_i$中保留与$({\mathbf{\alpha }}^i{)}^{\prime }$对应的列。 可这样操作：作二维表，以行向量${\mathbf{\alpha }}^i$作为表头，以矩阵${\mathbf{E}}_i$作为表体，删除${\mathbf{\alpha }}^i$零元素所在的列，则表头变为了$({\mathbf{\alpha }}^i{)}^{\prime }$、表体变为了$({\mathbf{E}}_i{)}^{\prime }$。

（3）优化目标式(11.22)变为
$$\begin{array}{r}\underset{{\mathbf{b}}_i}{\min }\left|\right|({\mathbf{E}}_i{)}^{\prime }-{\mathbf{b}}_i({\mathbf{\alpha }}^i{)}^{\prime }|{|}_F^2\end{array}\text{\hspace{1em}(11.23)}$$

（4）对式(11.23)加上“低秩”要求（需要指定超参数$k$，缺省为$\mathbf{A}$的秩），即为【西瓜书附录式(A.34)】，其中，$\mathbf{A}=({\mathbf{E}}_i{)}^{\prime },\tilde{\mathbf{A}}={\mathbf{b}}_i({\mathbf{\alpha }}^i{)}^{\prime }$。

（5）采用奇异值分解方法得到$\tilde{\mathbf{A}}$的最优解为【西瓜书附录式(A.35)】的${\mathbf{A}}_k$。

（6）从${\mathbf{b}}_i({\mathbf{\alpha }}^i{)}^{\prime }={\mathbf{A}}_k$中求出${\mathbf{b}}_i$即可。

---

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：11.4 嵌入式选择与L1正则化（将特征选择嵌入到优化算法中，以LASSO算法为代表）
下一篇：11.6 压缩感知（RIP算法竟将要解的方程式视为约束条件）