- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Graph Neural Network（GraphSAGE，GAT）
Graph图论问题。如生成树算法，最短路径算法，BFS，DFS。概率图模型。将条件概率表达为图结构，如马尔可夫链，条件随机场。图神经网络。结合深度学习，如博主已经整理过的Graph Embedding，Graph LSTM/CNN等结合。基本上Graph+Neural Network，即使用了深度学习技术解决图问题就都是GNN的范畴了。而GNN主要是为了解决Non-Euclidean结构的...
2020-01-09 15:48:44
4548
3
原创 Graph Embedding（SDNE，Graph2vec，GraphGAN）
SDNE前一篇整理了3种常用的图嵌入方法，DeepWalk，LINE和Node2vec。Structural Deep Network Embeddings（结构深层网络嵌入，SDNE）的不同之处在于，它并不是基于随机游走的思想，在实践中比较稳定。主要思路如上图，会将节点向量 si 作为模型的输入，通过自编码器对这个向量进行降维压缩 zi，然后再重建特征。其损失函数定义为：O2=∑∣∣si...
2020-01-08 20:46:09
8173
原创 Memorandum
基础学习路线，大佬请绕道走不耽误时间了本博客受欧阳老师以留实验室遗产为由更新至今，主要以机器学习、深度学习知识为为主，给与入门和后续学习路线。受用胡适先生一句：怕什么真理无穷，进一寸有一寸的欢喜。AI大世界纷杂万分，只愿保发前行。下面是本实验室在实践中适用的基础必学路线与建议，只适用于基础学习，大佬请绕道走不耽误时间了：数据挖掘路线：KNN ，决策树， 线性回归，逻辑回归...
2020-01-08 19:19:43
1513
原创 Graph Embedding（DeepWalk，LINE，Node2vec）
Graph Embedding属于表示学习。主要是将图中的节点/图表示成低维，实值，稠密的向量形式，使得到的向量能够做进一步的推理，对下游任务会很有帮助。图嵌入（顶点嵌入/图嵌入）方法主要有矩阵分解，随机游走和深度学习。矩阵分解： 基于矩阵分解的方法是将节点间的关系用矩阵的形式加以表达，然后分解该矩阵以得到嵌入向量。通常用于表示节点关系的矩阵包括邻接矩阵，拉普拉斯矩阵，节点转移概率矩阵，节点...
2020-01-08 18:08:53
5819
1
原创 Knowledge Distillation(知识蒸馏，DistillBERT，Theseus，KR)
Do Deep Nets Really Need to be Deep？虽然近年来的趋势如BigGAN，BERT等，动辄上亿参数，几乎就是数据驱动+算力的“暴力”结果。但同时，更加轻量级的升级版模型如ALBERT也能以更少的参数和架构持续刷榜，元学习（meta learning）和零样本学习（Zero-shot learning），还有只需要个位数层数就能取得优异效果的GCN等，都似乎证明了“大...
2020-01-06 15:43:50
3862
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人