Recurrent Neural Networks LSTMs, Transformers, Graph Neural Networks
Recurrent Neural Networks (RNNs)
Encoding time
- 自回归模型
- 使用“delay taps”从固定数量的前一项中预测下一项。
- 前馈神经网络
- 通过使用一层或多层非线性隐藏单元来推广自回归模型
如果我们给生成模型一些隐藏状态,如果我们给这个隐藏状态它自己的内部动态,
隐马尔可夫模型
RNN
Alternative architectures for RNNs
LSTM
- 网络学到了什么
- 它学习了三个隐藏单元的四种不同的活动模式。这些模式对应于有限状态自动机中的节点
- 循环网络可以模拟有限状态自动机,但它的功能是指数级的。有N个隐藏神经元,它有2^N个可能的二元活动向量
Transformer
GNN
Graph neural nets
了解如何将信息通过图传播到计算节点特性
Application to “classical” network problems
Unsupervised learning with GNNs
How should we decode the graph?
并不是所有图都具有化学有效性的