| layout | title | date |
|---|---|---|
| post | 《Tri-Party Deep Network Representation》 | 2018-05-13 08:01 |
问题定义
网络表示为 G = ( V , E , D , C ) G=(V,E,D,\mathcal C) G=(V,E,D,C),其中V是点集合，E是边集合，D是由每个点上的文本(text)构成的集合， C = L ⋃ U \mathcal C=L\bigcup U C=L⋃U是类别标签集合，其中L是网络中有标签的节点集合，U则是无标签的节点集合。
如果 C = ∅ \mathcal C=\emptyset C=∅,则本文的方法成了无监督学习的方法。
##前件
- skip-gram模型
skip-gram的思想是给定当前词汇(current word)，在一定的窗口大小下(certain window)，预测上下文单词(context or surrounding words)。
最大化log-likelihood公式：
(1) L = ∑ t = 1 T l o g P ( w t − b : w t + b ∣ w t ) \mathcal L=\sum_{t=1}^Tlog \mathbb P(w_{t-b}:w_{t+b}|w_t) \tag{1} L=t=1∑TlogP(wt−b:wt+b∣wt)(1)
其中b是窗口大小， w t w_t wt表示词汇t。 P ( w t − b : w t + b ∣ w t ) \mathbb P(w_{t-b}:w_{t+b}|w_t) P(wt−b:wt+b∣wt) 等于：
(2) ∏ − b ≤ j ≤ b , j ≠ 0 P ( w t + j ∣ w t ) \prod_{-b \le j \le b,j\neq0}\Bbb P(w_{t+j}|w_t) \tag{2} −b≤j≤b,j̸=0∏P(wt+j∣wt)(2)
再对给定词汇的上下文做i.i.d.假设，则 P ( w t + j ∣ w t ) \Bbb P(w_{t+j|w_t}) P(wt+j∣wt) 的计算是：
(3) P ( w t + j ∣ w t ) = e x p ( V w t T V w t + j ′ ) ∑ w = 1 W e x p ( V w t T V w ′ ) \Bbb P(w_{t+j}|w_t)=\frac{exp(V_{w_t}^T V_{w_{t+j}}^{'} )}{\sum_{w=1}^Wexp(V_{w_t}^T V_{w}^{'} )} \tag{3} P(wt+j∣wt)=∑w=1Wexp(Vw
最低0.47元/天 解锁文章
845
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
