GNN入门

Mutual Information

-Mutual Information视频介绍
互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。(百度百科)
举个例子(图源自上述视频)：

-信息论——熵、互信息、相对熵
知乎大神有很详细的介绍，建议看看，不过对于互信息推导公式不是很懂，希望有人能帮忙解答一下疑惑(红色圈部分)：

PageRank理解

-如何优雅的理解PageRank
-CS224W 图机器学习 自学笔记11 - PageRank
PageRank的原理总结：
一个网页，被越多的其他网页所链接，重要度越高；
一个网页，被越重要的网页所链接，重要度越高
举例说明(图源：知乎小李飞镖)：

由于存在Dead End(只进不出)和Spider Traps(只有自环和进),为了避免这两种极端情况导致重要度迭代失败，PageRank加入了“穿越机制”，即，每次迭代时，重要度会以$\beta$ 的权重沿out-links传播，同时以$1-\beta$的权重传播到全图所有节点。于是，重要度迭代公式就进化为下面的形式，避免了迭代失败。(图源：知乎小李飞镖)

Random Walk

一维随机游走最形象例子(图源：知乎高宏)

Skip-gram算法

Skip-gram算法是在给出目标单词（中心单词）的情况下，预测它的上下文单词。如图所示(图源：知乎刘博)：


算法训练过程(图源：B站Avali21)
缺点，词向量空间太大，效率低下。
参考文献：
-Word2Vec介绍：直观理解skip-gram模型
-Word2Vec: Skip-Gram Explained!
-Word2Vec Tutorial - The Skip-Gram Model