【论文阅读】Distract Your Attention: Multi-head Cross Attention Network for FacialExpression Recognition

已于 2022-03-03 22:51:19 修改
阅读量1.9k 收藏 6
点赞数 2
文章标签： 深度学习 人工智能
于 2022-03-03 22:50:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42785704/article/details/123264613
版权

为了学习高质量的注意力特征，DAN网络分为三个部分：特征聚类网络（FCN）、多头交叉注意网络（MAN）和注意融合网络（AFN）。

第一部分：特征聚类网络（FCN）

FCN以Resnet为主干网络，同时引入了一个affinity loss。具体地说，在每一个train epoch中，我们都鼓励特征更接近它们所属的类别中心。同时，为了保持良好的可分性，将不同类别的中心分开。affinity loss的公式如下：

其中M代表样本数量，x_{i}^{'}代表Resnet的输出，y_{i}代表类别，

最低0.47元/天 解锁文章
柠檬不喝橙汁
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
no-distract:工作时避免分心
05-14
介绍用于阻止我经常访问的网站的脚本，这会降低我的工作效率。 我知道，Web扩展也可以做到这一点，但是由于我是在非常低的计算机资源上运行的，因此通常可以通过Shell脚本来完成工作。 注意：请不要将其直接用于您的...
chat-distract:[已弃用] 没有数据库的实时聊天应用
07-07
嘈杂的聊天 这是一个重构的带有和的项目。 以下是数据在此应用中的流动方式： 开发这个项目 先安装依赖： npm i 启动服务器： cd server coffee app.coffee 客户端 JavaScript ...麻省理工学院
[表情识论文]Distract Your Attention: Multi-head Cross Attention Network for Facial Expression Recognition
m0_59155639的博客
11-24 1728
论文提出了一个分散注意力网络（DAN）。本文方法实现了多个交叉注意头，并确保它们捕捉面部表情不重叠的重要区域。具体地说，提出了三个子网，包括特征聚类网络（FCN）、多头部交叉注意网络（MAN）和注意力融合网络（AFN）。
SOTA:《Distract Your Attention: Multi-head Cross Attention Network for Facial Expression Recognition》
liu_chengguang的博客
04-01 2034
闽江学院&福建农林大学 简介： 本次研究工作，基于以下观察提出新的人脸表情识别网络，Distract your Attention Network（DAN）。 1、多个类别的人有着本质上相似的基本面部外观，而差异是微妙的。2、面部表情同时通过多个面部区域表现出来，识别需要通过编码局部特征之间的高阶互动来实现整体的方法。DAN ，包括三个关键部分，特征聚类网络（FCN）、多头交叉注意网络（MAN）和注意...
Self -Attention、Multi-Head Attention、Cross-Attention
热门推荐
大鹏的专栏
11-24 3万+
Self -Attention是一端的注意力机制。Cross-Attention是两端的注意力机制，然后合起来。
多头注意力（Multi-Head Attention）和交叉注意力（Cross-Attention）是两种常用的注意力机制的原理及区别
最新发布
ywfwyht的博客
10-16 2万+
在类的初始化函数中，我们需要设置注意力头数num_heads，以及每个注意力头的k维度k_dim和v维度v_dim。在前向传播函数中，我们使用全连接层将x1投影到k_dim * num_heads维度，x2投影到k_dim * num_heads和v_dim * num_heads的空间，再将结果按注意力头和k_dim/v_dim维度进行调整。注意力计算完成后，将得分与v相乘，再将结果按注意力头和v_dim维度进行调整，最终使用全连接层将结果投影会in_dim维度，即可得到多头注意力计算的结果。
Enriched Long-term Recurrent Convolutional Network for Facial Micro-Expression Recognition阅读笔记
hfutyfl802的博客
09-26 1087
文章主要的贡献：提出了一个Enriched Long-term Recurrent Convolutional Network (ELRCN)来进行表情识别。 和其他大多数文章一样，作者先从数据上下功夫，从数据里提炼出相关物理量，第一个便是光流（好像也只有光流）。得到一个关于光流的3维的矩阵，关于光流这里就不介绍了，网上有好多文章，写的都挺好的。文章把对微表情的特征学习分为空间学习和时间学习。 ...
拉萨尔大学新生注意力分散的学习习惯和感知因素-研究论文
06-09
本文旨在确定新生的学习习惯以及影响他们注意力的因素。 通过良好的学习习惯，每个学生都可以在班级中脱颖而出。 有的学生成绩优异，有的学生课堂表现不及格。 学生在学习中会遇到干扰。 本研究采用描述性调查设计，...
Distract Block-crx插件
04-04
语言:English 轻松阻止分散注意力的网站！...使用Distract Block Chrome扩展程序过滤干扰物！ 大流行使人们很难集中精力处理手头上的任务，因为只需点击一下鼠标，即可分散网上注意力。 我们可以提供帮助！
Distract Break-crx插件
04-04
语言:English (United States) 通过中断进行时间管理。 一个简单的时间管理计时器。 创建一个最常见的干扰列表，并且只有在您的注意力分散于生产上的时间多的情况下，计时器才会递增。 每次计数器超负荷使用时，扩展...
分类，分割等网络所需的相关loss pytorch
02-17
My implementation of label-smooth, amsoftmax, partial-fc, focal-loss, dual-focal-loss, triplet-loss, giou-loss, affinity-loss, pc_softmax_cross_entropy, ohem-loss(softmax based on line hard mining loss)
【动手深度学习-笔记】注意力机制（四）自注意力、交叉注意力和位置编码
一个学习困难症患者的破博客
10-17 2万+
像这样的，查询、键和值来自同一组输入的注意力机制，被称为自注意力（self-attention）或者内部注意力（intra-attention）。总而言之，卷积神经网络和自注意力都拥有并行计算的优势，而且自注意力的最大路径长度最短。DETR中，为了保留特征的空间信息，没有将二维数据平铺为一维，而是分别对行和列进行位置编码。在自注意力机制中，词向量是不带位置信息的，也就是说，将词的顺序打乱，得到的输出是一样的。词元组成的序列映射到另一个长度相等的序列，其中的每个输入词元或输出词元都由。
U-Net Transformer：用于医学图像分割的自我和交叉注意力模块
weixin_43921949的博客
09-16 6441
U-Transformer
【深度学习常见问题——Attention基础知识梳理】
selami的博客
09-12 3595
attention的一些最基础知识的梳理总结，包含attention的各个模块
通过显式寻找物体的 extremity 区域加快 DETR 的收敛：Conditional DETR
我爱计算机视觉
08-22 1076
关注公众号，发现CV技术之美本文系52CV粉丝Charles投稿。原文：https://zhuanlan.zhihu.com/p/401916664在这篇文章，我们解读一下我们发表在 IC...
Transformer Tracking
xuan971130的博客
08-30 1659
Xin Chen, Bin Yan, Jiawen Zhu, Dong Wang, Xiaoyun Yang and Huchuan Lu 1School of Information and Communication Engineering, Dalian University of Technology, China 2Peng Cheng Laboratory Remark AI CVPR 2021 摘要： Correlation acts 在跟踪领域起着关键性作用，尤其是在最...
【论文阅读】Attention Bottlenecks for Multimodal Fusion---多模态融合，音视频分类，注意力机制
me_yundou的博客
03-01 1万+
本文任务是视频分类，方法是多模态视觉（图像）和音频融合。主要是对transformer结构中attention层进行修改，使之可以处理多模态信息，且降低计算量。 本博客系本人阅读该论文，结合个人理解所写，非逐句翻译，欲知文章详情，请参阅论文原文。 ...
[Transformer]CAT: Cross Attention in Vision Transformer
qq_37151108的博客
12-01 4254
CAT：交叉注意力用于Vision TransformerAbstractSection I IntroductionSection II Related WorkSection III MethodPart 1 Overall architecturePart 2 Inner-Patch Self-Attention BlockPart 3 Cross-Patch Self-AttentionPart 4 Cross Attention based TransformerSection IV Experi
一些特征融合技巧
MCU_master的博客
07-19 2万+
特征融合
Ubuntu终端背景
07-27
Ubuntu终端的背景可以通过修改终端的配置文件来实现。具体的步骤如下： 1. 打开终端：可以通过按下Ctrl+Alt+T组合键或者在应用程序菜单中找到终端应用程序来打开终端。 2. 打开终端配置文件：在终端中运行以下命令来打开终端配置文件： ```bash sudo nano /etc/bash.bashrc ``` 这将使用nano编辑器打开`bash.bashrc`文件。 3. 修改终端背景：在打开的文件中，找到以下行： ```bash # uncomment for a colored prompt, if the terminal has the capability; turned # off by default to not distract the user: the focus in a terminal window # should be on the output of commands, not on the prompt # force_color_prompt=yes ``` 将`# force_color_prompt=yes`这一行的注释符号（#）去掉，变为： ```bash force_color_prompt=yes ``` 4. 保存并关闭文件：按下Ctrl+X，然后按下Y键确认保存文件，并按下Enter键关闭编辑器。 5. 应用更改：在终端中运行以下命令来使更改生效： ```bash source /etc/bash.bashrc ``` 现在，你应该能够看到终端的背景颜色已经改变了。你可以根据需要修改配置文件中的其他选项来自定义终端的外观。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值