模块调用、Dropout以及残差（residual）连接函数

于 2024-01-15 11:23:58 发布
阅读量469 收藏 7
点赞数 10
文章标签： 人工智能 生物信息学 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27390023/article/details/135597157
版权

主要函数dropout_wrapper实现张量经模块前向传输再经过dropout层，最后和输入张量相加输出。函数调用：dropout_wrapper_fn <- dropout_wrapper <- apply_dropout

import jax 
import functools
import ml_collections

NUM_RES = 'num residues placeholder'
NUM_MSA_SEQ = 'msa placeholder'
NUM_EXTRA_SEQ = 'extra msa placeholder'
NUM_TEMPLATES = 'num templates placeholder'

## 模型参数
CONFIG = ml_collections.ConfigDict({
    'data': {
        'common': {
            'masked_msa': {
                'profile_prob': 0.1,
                'same_prob': 0.1,
                'uniform_prob': 0.1
            },
            'max_extra_msa': 1024,
            'msa_cluster_features': True,
            'num_recycle': 3,
            'reduce_msa_clusters_by_max_templates': False,
            'resample_msa_in_recycling': True,
            'template_features': [
                'template_all_atom_positions', 'template_sum_probs',
                'template_aatype', 'template_all_atom_masks',
                'template_domain_names'
            ],
            'unsupervised_features': [
                'aatype', 'residue_index', 'sequence', 'msa', 'domain_name',
                'num_alignments', 'seq_length', 'between_segment_residues',
                'deletion_matrix'
            ],
            'use_templates': False,
        },
        'eval': {
            'feat': {
                'aatype': [NUM_RES],
                'all_atom_mask': [NUM_RES, None],
                'all_atom_positions': [NUM_RES, None, None],
                'alt_chi_angles': [NUM_RES, None],
                'atom14_alt_gt_exists': [NUM_RES, None],
                'atom14_alt_gt_positions': [NUM_RES, None, None],
                'atom14_atom_exists': [NUM_RES, None],
                'atom14_atom_is_ambiguous': [NUM_RES, None],
                'atom14_gt_exists': [NUM_RES, None],
                'atom14_gt_positions': [NUM_RES, None, None],
                'atom37_atom_exists': [NUM_RES, None],
                'backbone_affine_mask': [NUM_RES],
                'backbone_affine_tensor': [NUM_RES, None],
                'bert_mask': [NUM_MSA_SEQ, NUM_RES],
                'chi_angles': [NUM_RES, None],
                'chi_mask': [NUM_RES, None],
                'extra_deletion_value': [NUM_EXTRA_SEQ, NUM_RES],
                'extra_has_deletion': [NUM_EXTRA_SEQ, NUM_RES],
                'extra_msa': [NUM_EXTRA_SEQ, NUM_RES],
                'extra_msa_mask': [NUM_EXTRA_SEQ, NUM_RES],
                'extra_msa_row_mask': [NUM_EXTRA_SEQ],
                'is_distillation': [],
                'msa_feat': [NUM_MSA_SEQ, NUM_RES, None],
                'msa_mask': [NUM_MSA_SEQ, NUM_RES],
                'msa_row_mask': [NUM_MSA_SEQ],
                'pseudo_beta': [NUM_RES, None],
                'pseudo_beta_mask': [NUM_RES],
                'random_crop_to_size_seed': [None],
                'residue_index': [NUM_RES],
                'residx_atom14_to_atom37': [NUM_RES, None],
                'residx_atom37_to_atom14': [NUM_RES, None],
                'resolution': [],
                'rigidgroups_alt_gt_frames': [NUM_RES, None, None],
                'rigidgroups_group_exists': [NUM_RES, None],
                'rigidgroups_group_is_ambiguous': [NUM_RES, None],
                'rigidgroups_gt_exists': [NUM_RES, None],
                'rigidgroups_gt_frames': [NUM_RES, None, None],
                'seq_length': [],
                'seq_mask': [NUM_RES],
                'target_feat': [NUM_RES, None],
                'template_aatype': [NUM_TEMPLATES, NUM_RES],
                'template_all_atom_masks': [NUM_TEMPLATES, NUM_RES, None],
                'template_all_atom_positions': [
                    NUM_TEMPLATES, NUM_RES, None, None],
                'template_backbone_affine_mask': [NUM_TEMPLATES, NUM_RES],
                'template_backbone_affine_tensor': [
                    NUM_TEMPLATES, NUM_RES, None],
                'template_mask': [NUM_TEMPLATES],
                'template_pseudo_beta': [NUM_TEMPLATES, NUM_RES, None],
                'template_pseudo_beta_mask': [NUM_TEMPLATES, NUM_RES],
                'template_sum_probs': [NUM_TEMPLATES, None],
                'true_msa': [NUM_MSA_SEQ, NUM_RES]
            },
            'fixed_size': True,
            'subsample_templates': False,  # We want top templates.
            'masked_msa_replace_fraction': 0.15,
            'max_msa_clusters': 512,
            'max_templates': 4,
            'num_ensemble': 1,
        },
    },
    'model': {
        'embeddings_and_evoformer': {
            'evoformer_num_block': 48,
            'evoformer': {
                'msa_row_attention_with_pair_bias': {
                    'dropout_rate': 0.15,
                    'gating': True,
                    'num_head': 8,
                    'orientation': 'per_row',
                    'shared_dropout': True
                },
                'msa_column_attention': {
                    'dropout_rate': 0.0,
                    'gating': True,
                    'num_head': 8,
                    'orientation': 'per_column',
                    'shared_dropout': True
                },
                'msa_transition': {
                    'dropout_rate': 0.0,
                    'num_intermediate_factor': 4,
                    'orientation': 'per_row',
                    'shared_dropout': True
                },
                'outer_product_mean': {
                    'first': False,
                    'chunk_size': 128,
                    'dropout_rate': 0.0,
                    'num_outer_channel': 32,
                    'orientation': 'per_row',
                    'shared_dropout': True
                },
                'triangle_attention_starting_node': {
                    'dropout_rate': 0.25,
                    'gating': True,
                    'num_head': 4,
                    'orientation': 'per_row',
                    'shared_dropout': True
                },
                'triangle_attention_ending_node': {
                    'dropout_rate': 0.25,
                    'gating': True,
                    'num_head': 4,
                    'orientation': 'per_column',
                    'shared_dropout': True
                },
                'triangle_multiplication_outgoing': {
                    'dropout_rate': 0.25,
                    'equation': 'ikc,jkc->ijc',
                    'num_intermediate_channel': 128,
                    'orientation': 'per_row',
                    'shared_dropout': True,
                    'fuse_projection_weights': False,
                },
                'triangle_multiplication_incoming': {
                    'dropout_rate': 0.25,
                    'equation': 'kjc,kic->ijc',
                    'num_intermediate_channel': 128,
                    'orientation': 'per_row',
                    'shared_dropout': True,
                    'fuse_projection_weights': False,
                },
                'pair_transition': {
                    'dropout_rate': 0.0,
                    'num_intermediate_factor': 4,
                    'orientation': 'per_row',
                    'shared_dropout': True
                }
            },
            'extra_msa_channel': 64,
            'extra_msa_stack_num_block': 4,
            'max_relative_feature': 32,
            'msa_channel': 256,
            'pair_channel': 128,
            'prev_pos': {
                'min_bin': 3.25,
                'max_bin': 20.75,
                'num_bins': 15
            },
            'recycle_features': True,
            'recycle_pos': True,
            'seq_channel': 384,
            'template': {
                'attention': {
                    'gating': False,
                    'key_dim': 64,
                    'num_head': 4,
                    'value_dim': 64
                },
                'dgram_features': {
                    'min_bin': 3.25,
                    'max_bin': 50.75,
                    'num_bins': 39
                },
                'embed_torsion_angles': False,
                'enabled': False,
                'template_pair_stack': {
                    'num_block': 2,
                    'triangle_attention_starting_node': {
                        'dropout_rate': 0.25,
                        'gating': True,
                        'key_dim': 64,
                        'num_head': 4,
                        'orientation': 'per_row',
                        'shared_dropout': True,
                        'value_dim': 64
                    },
                    'triangle_attention_ending_node': {
                        'dropout_rate': 0.25,
                        'gating': True,
                        'key_dim': 64,
                        'num_head': 4,
                        'orientation': 'per_column',
                        'shared_dropout': True,
                        'value_dim': 64
                    },
                    'triangle_multiplication_outgoing': {
                        'dropout_rate': 0.25,
                        'equation': 'ikc,jkc->ijc',
                        'num_intermediate_channel': 64,
                        'orientation': 'per_row',
                        'shared_dropout': True,
                        'fuse_projection_weights': False,
                    },
                    'triangle_multiplication_incoming': {
                        'dropout_rate': 0.25,
                        'equation': 'kjc,kic->ijc',
                        'num_intermediate_channel': 64,
                        'orientation': 'per_row',
                        'shared_dropout': True,
                        'fuse_projection_weights': False,
                    },
                    'pair_transition': {
                        'dropout_rate': 0.0,
                        'num_intermediate_factor': 2,
                        'orientation': 'per_row',
                        'shared_dropout': True
                    }
                },
                'max_templates': 4,
                'subbatch_size': 128,
                'use_template_unit_vector': False,
            }
        },
        'global_config': {
            'deterministic': False,
            'multimer_mode': False,
            'subbatch_size': 4,
            'use_remat': False,
            'zero_init': True,
            'eval_dropout': False,
        },
        'heads': {
            'distogram': {
                'first_break': 2.3125,
                'last_break': 21.6875,
                'num_bins': 64,
                'weight': 0.3
            },
            'predicted_aligned_error': {
                # `num_bins - 1` bins uniformly space the
                # [0, max_error_bin A] range.
                # The final bin covers [max_error_bin A, +infty]
                # 31A gives bins with 0.5A width.
                'max_error_bin': 31.,
                'num_bins': 64,
                'num_channels': 128,
                'filter_by_resolution': True,
                'min_resolution': 0.1,
                'max_resolution': 3.0,
                'weight': 0.0,
            },
            'experimentally_resolved': {
                'filter_by_resolution': True,
                'max_resolution': 3.0,
                'min_resolution': 0.1,
                'weight': 0.01
            },
            'structure_module': {
                'num_layer': 8,
                'fape': {
                    'clamp_distance': 10.0,
                    'clamp_type': 'relu',
                    'loss_unit_distance': 10.0
                },
                'angle_norm_weight': 0.01,
                'chi_weight': 0.5,
                'clash_overlap_tolerance': 1.5,
                'compute_in_graph_metrics': True,
                'dropout': 0.1,
                'num_channel': 384,
                'num_head': 12,
                'num_layer_in_transition': 3,
                'num_point_qk': 4,
                'num_point_v': 8,
                'num_scalar_qk': 16,
                'num_scalar_v': 16,
                'position_scale': 10.0,
                'sidechain': {
                    'atom_clamp_distance': 10.0,
                    'num_channel': 128,
                    'num_residual_block': 2,
                    'weight_frac': 0.5,
                    'length_scale': 10.,
                },
                'structural_violation_loss_weight': 1.0,
                'violation_tolerance_factor': 12.0,
                'weight': 1.0
            },
            'predicted_lddt': {
                'filter_by_resolution': True,
                'max_resolution': 3.0,
                'min_resolution': 0.1,
                'num_bins': 50,
                'num_channels': 128,
                'weight': 0.01
            },
            'masked_msa': {
                'num_output': 23,
                'weight': 2.0
            },
        },
        'num_recycle': 3,
        'resample_msa_in_recycling': True
    },
})

c = CONFIG.model.embeddings_and_evoformer.evoformer
gc = CONFIG.model.global_config


def apply_dropout(*, tensor, safe_key, rate, is_training, broadcast_dim=None):
  """Applies dropout to a tensor."""
  if is_training and rate != 0.0:
    shape = list(tensor.shape)
    if broadcast_dim is not None:
      shape[broadcast_dim] = 1
    keep_rate = 1.0 - rate
    keep = jax.random.bernoulli(safe_key.get(), keep_rate, shape=shape)
    return keep * tensor / keep_rate
  else:
    return tensor


def dropout_wrapper(module,
                    input_act,
                    mask,
                    safe_key,
                    global_config,
                    output_act=None,
                    is_training=True,
                    **kwargs):
  """Applies module + dropout + residual update."""
  if output_act is None:
    output_act = input_act

  gc = global_config
  residual = module(input_act, mask, is_training=is_training, **kwargs)
  dropout_rate = 0.0 if gc.deterministic else module.config.dropout_rate

  # Will override `is_training` to True if want to use dropout.
  should_apply_dropout = True if gc.eval_dropout else is_training

  if module.config.shared_dropout:
    if module.config.orientation == 'per_row':
      broadcast_dim = 0
    else:
      broadcast_dim = 1
  else:
    broadcast_dim = None

  residual = apply_dropout(tensor=residual,
                           safe_key=safe_key,
                           rate=dropout_rate,
                           is_training=should_apply_dropout,
                           broadcast_dim=broadcast_dim)

  new_act = output_act + residual

  return new_act


# functools.partial 部分应用（partial application）一个函数.
# 即固定函数的一些参数，从而创建一个新的函数。
dropout_wrapper_fn = functools.partial(
          dropout_wrapper, is_training=True, global_config=gc)


 

qq_27390023
关注
  • 10
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
五、dropout模块作用讲解
weixin_48205788的博客
03-10 2786
摘要：详细讲解了什么叫做dropout,怎么去用它
用python计算residuals
woshilsh的博客
03-31 2663
经常涉及到这些小操作，每次都没整理，下次用的时候又得百度，麻烦，干脆整理下，下次使用直接翻笔记了！ 采用numpy库，如何计算residuals(x,y)？记得这里的x,y都是numpy.ndarray，假设x.shape=(3L,3L), y.shape=(3L,) >>> x array([[1, 2, 3], [4, 5, 6], ...
Dropout的深入理解（基础介绍、模型描述、原理深入、代码实现以及变种）
艰难困苦，玉汝于成。
02-09 1万+
深度神经网络包含多个非线性隐藏层，这使得它们有强大的表现力，可以学习输入和输出之间非常复杂的关系。但是在训练数据有限的情况下，深度神经网络很容易过度学习造成过拟合，过拟合是深度神经网络的一个非常严重的问题，此外，神经网络越大，训练速度越慢，Dropout可以通过在训练神经网络期间随机丢弃单元来防止过拟合，实验证明Dropout有很好的效果。
【Transformer系列（3）】 《Attention Is All You Need》论文超详细解读（翻译＋精读）
热门推荐
路人贾的博客
04-17 1万+
transformer开山之作《Attention Is All You Need》论文超详细解读（翻译＋精读）
PyTorch简单易懂的解析 Dropout Layers应用，代码示例
最新发布
CDBmax的博客
01-07 1841
本篇博客全面详细地解析了 PyTorch 框架中的 Dropout Layers 系列，包括nn.Dropout和。这些模块是深度学习中重要的工具，用于提高模型的泛化能力并防止过拟合。文章不仅讲解了每种 Dropout 的用途和应用场景，还提供了相关的使用技巧、注意事项和代码示例。
Dropout层的个人理解和具体使用
人工智能
05-30 2790
dropout 能够避免过拟合，我们往往会在全连接层这类参数比较多的层中使用dropout；在训练包含dropout层的神经网络中，每个批次的训练数据都是随机选择，实质是训练了多个子神经网络，因为在不同的子网络中随机忽略的权重的位置不同，最后在测试的过程中，将这些小的子网络组合起来，类似一种投票的机制来作预测，有点类似于集成学习的感觉。关于dropout，有和两种。推荐使用，因为一般情况下只有训练train时才用dropout，在eval不需要dropout。
残差网络（ResNet）案例分析
03-22
4.3 考虑其他改进策略，如使用更复杂的残差块结构，添加dropout来防止过拟合，或采用不同的正则化技术。 通过这个案例，我们可以深入理解残差网络的工作原理，以及如何在实践中利用Keras实现。这不仅有助于提升深度...
Tensorflow中的dropout的使用方法
09-17
总结来说，Tensorflow提供了多种实现dropout的方法，包括`tf.nn.dropout`、`tf.layers.dropout`以及自定义的稀疏张量dropout，它们都能有效地帮助我们在深度学习模型中防止过拟合，提高模型的泛化性能。在实践中，应...
Dropout动态图
10-29
利用动态图更好的理解Dropout动态图
dropout解决多分类过拟合python代码
12-11
在定义模型时，可以在神经网络层之间添加`nn.Dropout(p)`模块，其中p是丢弃比例。在训练模式下，dropout会生效，而在验证或测试阶段，所有神经元都会正常工作，确保模型的完整性和预测一致性。 多分类任务是指目标...
Dropout:互联网连接中的输出和_或日志丢失
04-28
根据结果​​连接状态，Dropout可以将结果输出或记录到指定的csv文件中。 对于日志记录和输出，我们可以选择记录故障，更改或所有内容。 默认： 辍学尝试每5秒访问一次 如果不能，则输出0 状态更改时，它将带有...
【论文精读（李沐老师）】Attention Is All You Need
久蔡合子
03-30 663
transformer
残差函数解读
小姑仔的博客
03-24 4056
残差函数是网络层之中常见的一种函数，这里只想用通俗易懂的内容去阐述残差函数的公式内容 也就是说，正常的神经网络层x经过weight layer之后为relu(w1x+b)relu(w_{1}x+b)relu(w1​x+b)，再经过一次weight layer之后为relu(w2∗(relu(w1x+b)))relu(w_{2}*(relu(w_{1}x+b)))relu(w2​∗(relu(w1​x+b))) 正常情况下F(x)=relu(w2∗(relu(w1x+b))))F(x) = relu(w_{2
resnet残差思想和dropout在transformer中的一点小细节
qq_51804522的博客
10-06 6474
看transformer代码代码然后看到nn.dropout()一个不一样的应用，这里我就来好好分享一下这个细节： 下面代码实现的是上方红框的部分，重点在于平常我们的nn.dropout是在训练的时候增加网络的健壮性，但这里它是用于相加。 self.dropout = nn.Dropout(p=0.5), x = x+g(f(x)) g(t)为dropout 在这里主要是为了x = x+f(x)中保持f(x)的稀疏性。还有个好处我认为这样可以增强f(x)的泛化性吧。 所以这个应该是resnet 残差思想
残差函数理解
小姑仔的博客
02-24 2947
这一篇文章不涉及复杂的数学推导以及残差函数为什么能够有效的原理，而是通过代码深入讲解残差函数的构造。 残差函数通俗的来说就是当前的输入结果加上若干层之前的输入结果，比如上面的这个图片，F(x)是当前层输出的结果，而x是若干层之前的输出结果，这里需要将两个输出结果加在一起。 具体的代码示例如下： import torch.nn as nn import torch from torch.nn.init import kaiming_normal, constant class BasicConvResBlo
论文略读 | Attention is all you need
sanra123的博客
03-02 503
2017年Google发表在NIPS的一篇文章，到现在已经1200+的引用量了，可以看到现在多火了吧。还是要来看看的，粗略读一下吧。 后续，从阅读理解的Encoder-Decoder方面改一下看看会不会有改进点。还有Mem2seq的代码看一下。相似度概率计算的公式可以改一下试试。 主要序列转导模型基于包括编码器和解码器的复杂RNN或者CNN网络，性能最佳的模型是通过注意力机制链接编码器和解码器。本...
动图图解Transformer及其工程领域应用（NLP外）
David's Tweet
06-10 1万+
一、Transformer图解 原文：《The Illustrated Transformer》 1.1 概览 Transformer总览 1.2 Encoder步骤 1.3 Decoder步骤 完成Encoder知识的学习以及基本上知道Decoder是如何工作的之后，接下来看看他们是如何协同工作的吧。 （1）首个输出 在完成encoder阶段之后，我们开始Decoder阶段。Decoder阶段的每个步骤从输出序列（本例中为英语翻译句子）输出一个元素。 （2）冒泡输出 以下步..
机器翻译Transformer框架分析笔记 | Attention is all you need
kudou1994的博客
08-10 2900
个人笔记使用，记录简短，如果有人看到了这篇文章，请直接拉到本文最后，看参考的那几篇文章，写的比较好，一看就懂。 〇、笔记中对Encoder-Decoder Attention理解有误 此注意力中的输入Q K V 其中K V应该是从编码器得到的输出乘以decoder子层随机初始化的W_K和W_V得到的 Q是上一步self-attention的输出乘以decoder子层随机初始化的W_Q得到的 注意：...
卷积层的dropout - dropblock
大泽之国
11-02 8172
DropBlock: A regularization method for convolutional networks dropout的不足 dropout是深度学习中避免过拟合的手段之一，经典网路结构中，dropout都被放到全连接层之后，鲜有放到卷积层之后。这是因为实验证明卷积层后的dropout层对网络泛化能力的改进微乎其微，本文分析了其中的原因：卷积层输出特征图各个元素之间存在很强的相...
python 如何调用dropout
05-12
在Python中，可以使用深度学习框架（如PyTorch或TensorFlow）中的Dropout函数来实现Dropout操作。 以PyTorch为例，可以使用torch.nn模块中的Dropout类来实现Dropout操作。下面是一个简单的示例代码： ```python ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值