LINE

LINE: Large-scale Information Network Embedding

概述

• LINE是一种Graph Embedding的方法，在非NN的方法中是比较好的。
• LINE的提出：考虑到因式分解的方法只适用于无向图、且只考虑一阶的相似关系；而DeepWalk方法没有明确表现出维持了什么特征。
• 所以LINE实现了可用于有向无向图、有权无权，以及维持了局部和全局结构(主要是二阶)。另外提出了一种边采样方法。

依据：真是世界的网络中，很多关系是没能被直接观测到的(即一阶相似性first-order)，但他们可以通过邻居实现间接关联的(二阶相似性second-order)

定义

1. 图、点、边——G、V、E，权重用w
2. 一阶相似性，指直接相连的两个点（即边），权重即相似性，不相连则为0；一阶相似性通常表示两个直接关联物体，
3. 二阶相似性，指结点的邻居之间的相似性。$p_u=(w_{u,1},...,w_{u,|V|})$表示结点u与邻居的的一阶相似性，则二阶相似性用$p_u$和$p_v$表示，若u，v没有共同邻居，则二阶相似性为0
4. LINE(Large-scale Information Network Embedding)

建模

1. 一阶相似性建模
   $$p_1(v_i,v_j)=\frac{1}{1+exp(-{\vec{u}}_i^T\cdot {\vec{u}}_j)}$$
   其中
   ${\vec{u}}_i\in R^d$是结点$v_i$的低维向量表示
   $p(\cdot ,\cdot )$是空间V*V的分布，其经验概率为${\hat{p}}_1(i,j)=\frac{w_{ij}}{W}$,$W={\sum }_{(i,j)\in E}{w}_{ij}$
   那么为了保持一阶相似性，则最小化目标函数：
   $$O_1=d({\hat{p}}_1(\cdot ,\cdot ),p_1(\cdot ,\cdot ))$$
   $d(\cdot ,\cdot )$表示两个分布的距离，如KL散度则为
   $$O_1=-\sum _{(i,j)\in E}{w}_{ij}\log p_1(v_i,v_j)$$

注意：一阶相似性只适用于无向图

2. 二阶相似性
   $$p_2(v_j|v_i)=\frac{exp({\vec{u}}_k^{\prime }\cdot {\vec{u}}_i)}{{\sum }_{k=1}^{|V|}exp({\vec{u}}_k^{\prime }\cdot {\vec{u}}_i)}$$
   其中
   ${\vec{u}}_i^{\prime }$是结点$v_i$的“上下文”（邻居）低维向量表示
   同样，使得环境的条件概率分布和经验条件概率近似
   $$O_2=\sum _{i\in V}{\lambda }_{i}d({\hat{p}}_2(\cdot |v_i),p_2(\cdot |v_i))$$
   ${\hat{p}}_2(\cdot |v_i)=\frac{w_{ij}}{d_i}$，di是结点i的出度，$d_i={\sum }_{k\in N(i)}{w}_{ik}$
   $$O_2=-\sum _{(i,j)\in E}{w}_{ij}\log p_2(v_j|v_i)$$

---

以后再补吧。。。