MIT-6874-Deep Learning in the Life Sciences Week4

Recurrent Neural Networks (RNNs)

Encoding time

  • 自回归模型
    • 使用“delay taps”从固定数量的前一项中预测下一项。
  • 前馈神经网络
    • 通过使用一层或多层非线性隐藏单元来推广自回归模型

在这里插入图片描述
如果我们给生成模型一些隐藏状态,如果我们给这个隐藏状态它自己的内部动态,

在这里插入图片描述
隐马尔可夫模型
在这里插入图片描述

RNN

在这里插入图片描述

Alternative architectures for RNNs

在这里插入图片描述

LSTM

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

  • 网络学到了什么
    • 它学习了三个隐藏单元的四种不同的活动模式。这些模式对应于有限状态自动机中的节点
    • 循环网络可以模拟有限状态自动机,但它的功能是指数级的。有N个隐藏神经元,它有2^N个可能的二元活动向量

在这里插入图片描述

Transformer

在这里插入图片描述

GNN

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Graph neural nets

了解如何将信息通过图传播到计算节点特性
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Application to “classical” network problems

在这里插入图片描述

Unsupervised learning with GNNs

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

How should we decode the graph?

并不是所有图都具有化学有效性的
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值