文献阅读（33）IJCAI2016-Max-Margin DeepWalk：Discriminative Learning of Network Representation

本文是对《Max-Margin DeepWalk：Discriminative Learning of Network Representation》一文的浅显翻译与理解，如有侵权即刻删除。

朋友们，我们在github创建了一个图学习笔记库，总结了相关文章的论文、代码和我个人的中文笔记，能够帮助大家更加便捷地找到对应论文，欢迎star~

Chinese-Reading-Notes-of-Graph-Learning

更多相关文章，请移步：文献阅读总结：网络表示学习/图学习

Title

《Max-Margin DeepWalk：Discriminative Learning of Network Representation》

——IJCAI 2016

Author: 涂存超

总结

文章认为当前的网络表示算法不能够起到很好地分类效果，提出了MMDW算法。该算法学习矩阵分解形式的Deepwalk损失函数，并训练一个基于支持向量机的最大间隔分类器，将两者的损失函数结合起来，并采用控制变量的方法分别进行优化，最终能够学习得到有明显区分的网络表示。

1 问题定义

2 矩阵分解形式的Deepwalk

DeepWalk会在网络中进行随机游走得到节点的随机游走序列，并采用Skip-Gram模型来学习节点表示。

在这种情况下，Deepwalk的损失函数形式如下：

其中，S是所有随机游走序列的集合，概率Pr可计算如下：

其中x表示节点向量。Network representation learning with rich text information 一文认为，DeepWalk 等价于对一个矩阵M进行矩阵分解，矩阵中的每一个元素为：

文章在此取了M的近似矩阵，即t仅取到2。并利用M=X^(T)Y对Deepwalk进行矩阵分解，从而有目标函数如下：

3 最大间隔分类器

文章基于支持向量机SVM训练了一个最大间隔分类器，假设训练集为：

则有该分类器的目标函数为：

式5中，前一项W为SVM的权重矩阵，后一项为控制训练集中分类错误的松弛变量。松弛变量的引入常常是为了便于在更大的可行域内求解。若为0，则收敛到原有状态，若大于零，则约束松弛。

4 MMDW

文章将上述两个目标函数进行结合同时优化，则有新的目标函数为：

该目标函数中有四个训练参数，即节点表示矩阵X，上下文表示矩阵Y，分类权重矩阵W以及松弛向量。文章采用控制变量的方法，分别对目标函数进行优化。

4.1 优化分类器部分

当固定X和Y时，对于MMDW的优化变成一个标准的多类别SVM问题，其对偶形式如下：


在此，拉格朗日乘子a替代为了C-z。为求解该对偶问题，文章使用坐标下降方法，将Z拆分成多个向量z，并采用序列对偶方法来解决其对应的子问题，有：

4.2 优化Deepwalk部分

当权重矩阵和松弛向量固定时，目标函数可视为求解带约束的矩阵分解问题，有：



截图中的中文内容出自文章作者涂存超的博士毕业论文。