【机器学习】模型平移不变性/等变性&归纳偏置&Attention机制

已于 2023-10-23 16:32:13 修改
阅读量1k 收藏 1
点赞数 1
文章标签： 机器学习 人工智能
于 2023-10-23 16:16:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44708254/article/details/133992248
版权

Alphafold2具有旋转不变性吗——从图像识别到蛋白结构预测的旋转对称性实现

通过Alphafold2如何预测蛋白质结构，看有哪些机制或tricks可以利用？

一、等变Transformer

等变Transformer是Transformer众多变体的其中一种，其强调等变性。不变性或者等变性的定义如下:
在这里插入图片描述

二、归纳偏置

对特定任务的模型需求，即为“归纳偏置”。
在这里插入图片描述

三、注意力机制

自注意力机制被运用到Transformer中，以及在AlphaFold2中也运用了各种的注意力机制

在这里插入图片描述

【深度学习】(1) CNN中的注意力机制（SE、ECA、CBAM），附Pytorch完整代码

在这里插入图片描述

在AlphaFold2中就运用了轴向注意力机制。

一文看懂 Attention（本质原理+3大优点+5大类型）

Dataloading...
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
Transformer模型学习笔记
qq_44707928的博客
09-09 641
Transformer模型学习笔记
rotated rpn（RRPN）解决旋转不变性特征
weixin_51015047的博客
11-10 1724
成就 第一个基于RPN架构引入旋转候选框实现任意方向的场景文本检测。基于旋转的anchor得到旋转ROI，然后提取相应特征 为什么提出旋转的提议框呢？ 因为水平提议框在检测倾斜文本的时候会带有一些冗余（非文本部分）。对比图如下，左：原图；中：水平提议框；右：旋转提议框 模型结构 整体框架是和faster rcnn一样的，只是我们的RRPN产生带角度的候选区域； 然后我们RRPN得到的候选区域是旋转矩形，而传统的RoI池化只能处理与坐标轴平行的候选区域，因此作者提出了RRoI Pooling用于RRPN中的
Spatial Transformer Networks
热门推荐
zhuiqiuk的专栏
02-14 2万+
TF code： https://github.com/kevinzakka/spatial-transformer-network 一、相关背景 如果网络能够对经过平移、旋转、缩放及裁剪等操作的图片得到与未经变换前相同的检测结果，我们就说这个网络具有空间变换不变性（将平移、旋转、缩放及裁剪不变性统称为空间不变性）。具有空间变换不变性的网络能够得到更精确地分类结果。传统CNN网络的池化层具有平...
cnn平移等变性和不变性
lx18303916的博客
01-11 1329
cnn不变性和等变性
CNN 中的等变(equivariant)和不变(invariant)
qq_38156104的博客
03-03 4938
等变性 equivariant 通俗解释： 对于一个函数，如果你对其输入施加的变换也会同样反应在输出上，那么这个函数就对该变换具有等变性。 更严谨些： 对于一个函数/特征以及一个变换， 如果我们有： 则称对变换有等变性。 举一个例子，假设我们的变换是将图像向右平移一段距离，我们的函数是检测一个人脸的位置（比如说输出坐标），就是先将图片像右移，接着我们在新图较之原图偏右的位置检测到人脸； 则是我们先检测到人脸， 然后再将人脸往右移一点。这二者的输出是一样的，与我们施加变换的顺序无关。 不变性 inv
机器学习模型脆弱性和安全性的提议
01-06
和许多人一样，我已经知道机器学习模型本身可能会带来安全风险。最近大量的博文和论文概述了这一内容广泛的主题，列举出了攻击方法和一些漏洞，开始提出了防御的解决方案，并为本文提供了必要的框架。本文的目标是在...
机器学习模型可解释性方法、应用与安全研究综述.pdf
08-31
1. 模型内部机理解释方法：该类方法通过解释模型的内部机理来提高模型的可解释性，例如，使用Attention机制来解释模型的注意力机理。 2. 模型输出解释方法：该类方法通过解释模型的输出结果来提高模型的可解释性，...
机器学习算法/模型——机器学习介绍
01-20
相较于仍然处于经验（“炼丹”）阶段的深度学习，传统的统计学习模型和方法已经具备了相对完善的理论基础。 态度：即使目标是深度学习也要从机器学习开始，从统计学习方法学起。 一方面深度学习与机器学习具有传承的...
基于机器学习LSTM(长短期记忆）的股票/基金预测模型（高分项目）.zip
01-19
基于机器学习LSTM(长短期记忆）的股票/基金预测模型（高分项目）.zip基于机器学习LSTM(长短期记忆）的股票/基金预测模型（高分项目）.zip基于机器学习LSTM(长短期记忆）的股票/基金预测模型（高分项目）.zip基于机器...
机器学习模型可解释性.pdf
08-12
机器学习模型的可解释性是指模型内部机制的理解，以及对模型结果的理解。模型的可解释性越高，人们就越容易理解为什么做出某些决定或预测。在建模阶段，模型的可解释性可以辅助开发人员理解模型，进而选择和优化模型...
En-transformer：E（n）-Transformer的实现，将Welling的E（n）-等变图神经网络的思想扩展到关注
03-03
E（n）-等变变压器（wip） E（n）-等变变压器的实现，并引人关注地扩展了Welling的的思想。 安装 $ pip install En-transformer 用法 import torch from en_transformer import EnTransformer model = EnTransformer ( dim = 512 , depth = 4 , dim_head = 64 , heads = 8 , edge_dim = 4 , fourier_features = 2 ) feats = torch . randn ( 1 , 16 , 512 ) coors = torch . randn ( 1 , 16 , 3 ) edges = torch . randn ( 1 , 16 , 16 , 4 ) fe
TensorFlow开源机器学习框架机器学习模型
最新发布
06-09
它提供了丰富的工具和库，用于构建和训练各种机器学习模型，包括神经网络、深度学习模型等。TensorFlow最初于2015年发布，至今已经成为了广泛应用于学术界和工业界的主流深度学习框架之一。 TensorFlow的主要特点...
Python&机器学习之项目实践
01-27
机器学习是一项经验技能，经验越多越好。在项目建立的过程中，实践是掌握机器学习的最佳手段。在实践过程中，通过实际操作加深对分类和回归问题的每一个步骤的理解，达到学习机器学习的目的。不能只通过阅读来掌握...
机器学习模型可解释性.rar
10-18
机器学习模型可解释性.rar
基于机器学习模型的P2P网贷平台风险预警研究.pdf
09-24
本文通过机器学习模型对P2P网贷平台的非法集资风险进行了预警研究，比较了传统机器学习方法（逻辑回归和决策树模型）与前沿机器学习模型（随机森林模型和XGBoost模型）在多个预测指标上的静态预警效能，并在动态预警...
transformer的各种变体
weixin_36378508的博客
03-16 4073
https://mp.weixin.qq.com/s/iuuRS_M3cYm0DXFkZGjjBg 1 Transformer-XL 论文标题： Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 收录会议： ACL 2019 论文链接： https://arxiv.org/abs/1901.02860 代码链接： https://github.com/kimiyoung/transformer-xl 上.
归纳偏置多余了？靠“数据堆砌”火拼Transformer，MLP架构可有胜算？
深度学习技术前沿
08-03 362
作者：琰琰前段时间，一场关于MLP与Transformer的较量在学术圈闹得沸沸扬扬。起因是，谷歌在《MLP-Mixer: An all-MLP Architecture for Visi...
[计算机视觉]论文笔记—Group Equivariante Convolutional Networks
Bajo的博客
02-03 832
论文笔记—Group Equivariante Convolutional Networks 前言 提到等变性就不得不提不变性这一性质。在卷积神经网络诞生之初，大家普遍认为使得其性能如此之好的原因之一便是其具有一定的平移不变性。起初人们为了增强其拥有的不变性，普遍采用的一些trick都是属于数据增强的类别，而非通过设计网络结构使得网络内在地具有不变性。之后，慢慢有人提出了一些具有不变性的结构或权值共享方式等。但是随着一些新的任务如语义分割和大家对卷积神经网络的讨论，人们认为卷积神经网络应当拥有的是等变性。
CNN具备Transformer所不具备的两个归纳偏置
IT_Novice_的博客
07-14 1485
CNN具备的先验信息使得其可以使用更少的数据得到更好的模型：1、局部性 Locality ： 假设图片上相邻的区域会有相邻的特征，靠的越近的东西相关性越强。2、平移等变性 Translation equivariance： 平移同变性 即f(g(x))=g(f(x))，f为卷积，g为平移 无论先做卷积还是平移，卷积核相当于模板，不论图片中同样的物体移到哪里，只要是同样的输入进来，遇到同样的卷积核，其输出永远是一样的相比于Transformer的自注意力层self-attention layer 是全局性
使用了自注意力机制的机器学习模型有哪些
04-19
自注意力机制在近年来得到了广泛应用，下面列举几个使用自注意力机制的机器学习模型： 1. Transformer模型：自然语言处理领域的重要模型，可以用于文本分类、机器翻译等任务。 2. BERT模型：基于Transformer模型并在其基础上进行了改进，是目前自然语言处理领域最为先进的模型之一。 3. GPT模型：也基于Transformer模型，主要用于生成自然语言文本。 4. ViT模型：利用自注意力机制解决了计算机视觉领域中图像分类的问题，可以实现对图像的全局感知。 除此之外，还有很多其他的机器学习模型也使用了自注意力机制，如T5模型、DeiT模型等等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Dataloading...

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值