- 博客(13)
- 收藏
- 关注
RSS订阅翻译 大型语言模型生成功能型不同家族的蛋白质序列：第三节 讨论
总之，我们的研究表明，仅使用进化序列数据训练的最先进的基于 transformer 的条件语言模型可生成跨蛋白质家族的功能性人工蛋白质。 额外的分析表明，我们的模型已经学会了一种灵活的蛋白质序列表示，可以应用于不同的家族，如溶菌酶、CM 和 MDH。 虽然我们不希望我们的语言模型生成属于完全不同分布或域的蛋白质（例如，创建一个催化非自然反应的新折叠），但它可以从进化采样的蛋白质序列中大大扩展蛋白质序列的空间。 将生物物理建模与生成模型相结合可以进一步帮助我们探索与进化采样完全不同的数据分布17、59、60。
2023-02-08 12:20:12
184
翻译 大型语言模型生成功能型不同家族的蛋白质序列：第二节 结果
我们通过测试 ProGen 在来自溶菌酶家族的五个不同蛋白质家族中的世代 23,39（补充表 2），以实验方式评估了 ProGen 生成功能性人工氨基酸序列的能力。 蛋白质家族包含大量序列多样性（补充表 3），平均序列长度在 84-167 之间变化。 这些序列还显示出巨大的结构多样性和多重结构折叠（补充图 2）。 总的来说，这代表了一个模型的具有挑战性的设计空间，该模型在生成时不受限于已知功能野生类型附近的局部序列邻域，也没有提供结构先验。 我们从 Pfam 和 UniprotKB 来源收集了来自这五个家族
2023-02-08 12:17:45
368
翻译 大型语言模型生成功能型不同家族的蛋白质序列：第一节 描述
深度学习语言模型在各种生物技术应用中显示出前景，包括蛋白质设计和工程。在这里，我们描述了 ProGen，这是一种语言模型，可以生成具有跨大型蛋白质家族的可预测功能的蛋白质序列，类似于在不同主题上生成语法和语义正确的自然语言句子。 该模型接受了超过 19,000 个家族的 2.8 亿个蛋白质序列的训练，并增加了指定蛋白质特性的控制标签。 ProGen 可以进一步微调到精选的序列和标签，以提高来自具有足够同源样本的家族的蛋白质的可控生成性能。 针对五个不同溶菌酶家族微调的人工蛋白质显示出与天然溶菌酶相似的催化效
2023-02-08 12:04:47
236
翻译 细粒度结构化稀疏神经网络：第二节
本文的主要贡献总结为三方面：(1) 据我们所知，这是第一次系统研究从头开始训练 N:M 结构化稀疏神经网络而没有性能下降。 N:M 结构化稀疏性是模型加速中缺少但有希望的成分，它可以作为各种压缩方法的有价值的补充。(2) 我们扩展 STE 来解决训练 N:M 稀疏神经网络的问题。为了减轻 STE 在稀疏网络上的局限性，我们提出了一个稀疏细化术语来提高从头开始训练稀疏神经网络的有效性。(3) 我们对 N:M 细粒度稀疏网络的各种任务进行了广泛的实验，并为 N:M 稀疏网络训练提供基准，以促进相关软
2022-07-14 16:59:55
1006
1
翻译 细粒度结构化稀疏神经网络：第一节
具体来说，一个（2 : 4）稀疏网络可以在 Nvidia A100 GPU 上实现 2 倍加速而不降低性能。此外，我们提出了一种新颖有效的成分，一种稀疏精炼的直通估计器（SR-STE），以减轻优化过程中由普通 STE 计算的近似梯度的负面影响。我们还定义了一个度量，即稀疏架构发散 (SAD)，以测量训练过程中稀疏网络的拓扑变化。最后，我们用 SAD 证明了 SR-STE 的优势，并通过对各种任务进行综合实验证明了 SR-STE 的有效性。......
2022-07-14 16:53:07
391
翻译 深度人工神经网络模拟单个皮层神经元6
DNN 领域的最新进展首次提供了一个强大的通用工具，可以从示例中学习复杂的映射。在这项研究中，我们使用这些工具以毫秒时间分辨率研究单个复杂非线性神经元的 I/Omappings。我们通过模拟 L5PC 的神经元模型在其树突表面上接收丰富的突触输入库并记录其峰值输出毫秒时间分辨率以及其体细胞亚阈值，构建了一个包含（突触）输入和（轴突）输出示例的大型数据集膜电位。然后，我们在这些 I/O 对上训练各种配置的网络，直到我们获得性能接近神经元详细模拟的模拟“深度”网络。我们将这个框架应用于一系列具有不同形态电复杂性
2022-06-06 12:29:21
241
翻译 深度人工神经网络模拟单个皮层神经元5
图 2 中显示的具有 NMDA 突触的 L5PC 的类似 DNN 在一大组突触输入上进行训练，这些突触输入均匀分布在树突树上并及时随机激活（参见 STAR 方法）。然而，这个 DNN 对可能导致高度非线性树突现象（例如，NMDA 尖峰）的空间聚集和时间同步输入的情况如何捕捉？图 6 显示，该 DNN 可以很好地推广到广泛的时空结构化刺激协议，而无需重新训练。图6A描述了兴奋性和抑制性突触撞击建模细胞的受限子树（紫色树突区域）的情况；...
2022-06-06 12:24:16
131
翻译 深度人工神经网络模拟单个皮层神经元4
既然我们已经获得了一个 DNN 模型，它可以非常准确地复制一个真实神经元的详细的生物物理/隔室模型的 I/O 关系，我们是否可以从中学习哪些是导致神经元复杂性的基本特征？皮质锥体神经元的树突表明电压依赖性电流通过突触 NMDA 受体的主要作用，包括在阈下和阈上（NMDA 尖峰）状态（Polsky、Mel 和 Schiller 2004；Branco、Clark 和 Hausser，2010 欧元）。由于 NMDA 受体 (NMDAR) 非线性地依赖于电压，因此它们不仅对它们所在的突触的活动高度敏感，而且对相
2022-06-06 12:20:53
173
翻译 深度人工神经网络模拟单个皮层神经元1
利用机器学习的最新进展，我们引入了一种系统方法来表征神经元的输入/输出 (I/O) 映射复杂性。训练深度神经网络 (DNN) 以在毫秒（尖峰）分辨率下忠实地复制皮层神经元的各种生物物理模型的 I/O 功能。需要一个具有五到八层的时间卷积 DNN 来捕获第 5 层皮质锥体细胞 (L5PC) 的真实模型的 I/O 映射。当在训练分布范围之外广泛呈现输入时，该 DNN 可以很好地泛化。当 NMDA 受体被移除时，一个更简单的网络（具有一个隐藏层的完全连接的神经网络）足以拟合模型。对 DNN 的权重矩阵的分析表明，
2022-06-05 16:17:51
281
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人