机器学习
lowl
这个作者很懒,什么都没留下…
展开
-
self-attention pytorch实现
Attentionclass Attention(nn.Module): def __init__(self, dim, num_heads=2, qkv_bias=False, qk_scale=None, attn_drop=0., proj_drop=0.): super().__init__() self.num_heads = num_heads head_dim = dim // num_heads self.scale原创 2021-03-18 17:51:21 · 1799 阅读 · 0 评论 -
图像 patch Embedding
import torchimport torch.nn as nnclass PatchEmbed(nn.Module): """ Image to Patch Embedding """ def __init__(self, img_size=224, patch_size=16, in_chans=3, embed_dim=768): super().__init__() img_size = (img_size, img_size)原创 2021-03-18 17:45:44 · 2393 阅读 · 0 评论 -
多模态特征表示和融合
多模态融合(fusion)多模态融合是将来自多种不同模态的信息进行整合,用于分类任务或回归任务。值得注意的是,在最近的工作中,对于像深度神经网络这样的模型,多模态表示和融合之间的界限已经模糊了,其中表示学习与分类或回归目标交织在一起多模态融合的优势1.对于同一任务,能够应用多种模态的数据,可以做出更鲁棒的预测2.模态之间可能会存在互补的信息3.当其中一种模态数据缺失时,多模态系统仍然可以运行,例如,当人不说话时,从视觉信号中识别情绪。多模态融合的应用多模态融合有着非常广泛的应用,包括视听语音识原创 2020-12-15 16:51:41 · 30574 阅读 · 3 评论