论文阅读A Recurrent Encoder-Decoder Network for Sequential Face Alignment

最新推荐文章于 2024-08-30 08:52:19 发布
最新推荐文章于 2024-08-30 08:52:19 发布
阅读量1k 收藏 1
点赞数
分类专栏： 深度学习 视频人脸关键点检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Miaodawang/article/details/105950791
版权

好不容易找到的代码地址，嘿嘿

https://github.com/xipeng13/RED-Net

 

2016ECCV + 2018 IJCV（invited）

这是第一次循环模型用于视频人脸关键点检测

目录

自己的总结

原理：

1.概述：

2. 编解码器fENC and fDENC：

3.空间循环fsRNN（这里没看懂）

4.时序循环（上图中的ftRNN）

5.把多通道响应图M转换成关键点坐标的fREG

实验：

1.验证空间循环的必要性：对姿态变化的情况准确率提高的快

2.对时序循环网络ftRNN的检验：

3.验证监督分离的好处：

4.与其他方法的对比

中文版原文（自译）

Abstract:

Introduction:

Recurrent Encoder-Decoder Network:

1.方法概述

2.空间循环学习

3.时序循环学习：

4. 监督身份学习：

5.限制的形状预测：

Network Architecture and Implementation Details：

1.fENC and fDENC：

2.fsRNN and ftRNN：

3.fCLS and fREG：

Experiments：

1.数据集和设置

2.空间循环学习的评估

3.时序循环网络

4.监督身份分离的好处

5.和其他方法的对比

6.将来的工作

自己的总结

原理：

 

1.概述：

       RED网络是一个以解编码器为基础的网络。

       网络的输入是图片和坐标图z中的每个像素都是离散的标签，标签标记相应地标的存在，其中0表示非地标区域。编码器代表一系列卷积、池化、BN来从输入中得到表现码，C代表被编码的特征，是编码器参数。

        然后经过一个分类器把编码的特征分成时间改变和不随时间改变的特征，随时间改变的特征比如表情，不随时间改变的特征有人脸的身份。然后随时间改变的特征用来训练，身份特征经过

这样一个分类网络来识别身份，因为这里也有一个分类损失，所以在训练这个网络的过程中可以帮助上面那个区分时序改变和不改变的特征。

        解码器是一系列的反池化、卷积和BN层，将表示码向上采样得到一个多通道响应图M

M的第一个通道表示背景，其余的L个通道对应地标的像素级置信度，这一句没有明白什么意思。

然后再对这个响应图经过得到关键点坐标，这一部分就是以这一帧关键点的真值和估计出来的关键点的欧氏距离做损失函数。

为了处理大姿态变化，在响应图和输入之间引入了一个反馈回路连接。

2. 编解码器fENC and fDENC：

 

       编码器是vgg16的变体，它有13个卷积层，卷积核尺寸都是3*3，和vgg16的前13层一样。（卷积核都是3*3 设置步长1 padding1，意味着输入128*128*4，经过3*3*64卷积核，输出尺寸（128-3+2*1）/1+1=128 128*128*64 也就是说vgg16的3*3卷积核是只改变通道数不改变尺寸的，和vgg16一样的话，本文中整个流程是128*128*4-128*128*64-128*128*64-64*64*64-64*64*128-64*64*128-32*32*128-32*32*256-32*32*256-32*32*256-16*16*256-8*8*256-8*8*512-8*8*512-8*8*512-4*4*512-4*4*512-4*4*512-4*4*512，bottleneck应该输出4*4*512的特征图 然后分成Cid和Cpe 每个是4*4*256的特征图） 

        用vgg16预训练好的权重。去掉所有的全连接层。

        编码器有5个max-pooling层，每次是2*2的池化窗口，步长都是2，因此在每个卷积阶段之后，特征映射的分辨率会减半。

         尽管最大池可以帮助实现平移不变性，但它不可避免地会导致大量的空间信息损失，尤其是当几个最大池层相继使用。为了解决这个问题，文章用2bit的码记录2*2窗口选择的最大元素的index，如上图下面那个虚框，记下来的index接下来被应用到相应的反池化层来把每个激活放回他原来的位置。这个策略在解码器把高压缩的特征图还原回输入结构时很有用。除此之外，存储空间索引比记忆整个特征图更加有效。

3.空间循环fsRNN（这里没看懂）

     本帧所用的Z是由上一帧的响应图M得到的

     fsRNN把(L+1)层通道的响应图M转换成单通道图z，这个步骤可以用两步来实现。

（1）用(L+1)聚类把M聚合成单张图，位置（i，j）处的值被设置为具有最大的置信度的M信道的索引：

M的第一个通道表示背景，其余的L个通道对应地标的像素级置信度。（L+1）个信道响应图相比于2通道（landmark v.s.non landmark）为对保持地标性的统一至关重要。

  （2）从聚类中生成一个标签图。文章用一个小正方形标记每个地标，小正方形以不同尺寸的相应聚集中心为中心，为了提供空间从粗到细的反馈。三个像素的大小分别设置为7像素、5像素和3像素。

4.时序循环（上图中的ftRNN）

     跟踪潜在状态并且更新时刻t的Cpe这就是这段RNN的作用，由上一帧Cpe得到当前帧Cpe（如果当前帧Cpe获取的不清楚的话，就通过这个循环RNN得到，因为除了Cpe之外都不随帧变化）

 

     文章用LSTM来做ftRNN,LSTM层有256个隐藏单元，根据经验文章设置T=10，每个time step都计算loss，在T个steps后累加进行反向传播。直接把喂进LSTM层会导致一个低的训练速度，因为输入和输出都需要4*4*256=4096个神经元，文章用4*4的池化层和反池化层压缩成256*1的向量，如图5所示

 

5.把多通道响应图M转换成关键点坐标的fREG

  回归网络以128*128*（L+1）的响应图作为输入，预测2L*1的关键点坐标。回归网络和编码器结构相似，但是每个卷积层用更小的特征图：64-64-256-256-512，除了最后一个8×8池层外，每2×2最大池层后特征映射的维数减半以获得512d特征向量。和分类网络类似，也用0.4的dropout，一个2L*1神经元的全连接层被用来输出地标坐标，它被用来计算欧几里德函数损失。

    文章中说最开始用fREG得到的结果不理想，原因是响应图太过高度抽象而缺失输入图的细节信息。为了解决这个问题，把编码器中的conv2_2和conv4_3的特征图和fREG层对应层连接在一起利用全局和局部信息，如下图所示就是在原来基础上加入了和编码器一样的两个卷积。其中conv2_2和conv4_3的参数都是在编码器中学习后的，权重信息直接应用到fREG。

 </

最低0.47元/天 解锁文章
Miaodawang
关注
专栏目录
人脸对齐（二十一）--A Recurrent Encoder-Decoder Network for Sequential Face Alignment
工作笔记
08-22 6253
转自：https://blog.csdn.net/shuzfan/article/details/52438910 本次介绍一篇关于人脸关键点检测(人脸对齐)的文章： 《ECCV16 A Recurrent Encoder-Decoder Network for Sequential Face Alignment》. 作者主页：https://sites.google.com/site/xi...
Deep-Recurrent-Generative-Decoder-for-Abstractive-Text-Summarization-EMNLP-2017:具有注意力机制和变分自动编码器的面向序列的编码器解码器模型
05-15
用于抽象文本摘要的深度递归生成解码器 代码在Keras中并且正在进行中 这是论文链接 具有注意力机制和变分自动编码器的面向序列的编码器解码器模型。
探索下一代查询建议：Hierarchical Recurrent Encoder-Decoder（HRED）
最新发布
gitblog_01072的博客
08-30 580
探索下一代查询建议：Hierarchical Recurrent Encoder-Decoder（HRED） hred-qsHierarchical Recurrent Encoder Decoder for Query Suggestion项目地址:https://gitcode.com/gh_mirrors/hr/hred-qs 在人工智能的浩瀚星海中，如何让机器更好地理解人类的查询意图？今...
Sequence Alignment
清幽小路的博客
08-15 1116
The Problem Given two strings XXX and YYY XXX consists of the sequence of symbols x1x2...xmx_1x_2...x_mx1​x2​...xm​ YYY consists of the sequence of symbols y1y2...yny_1y_2...y_ny1​y2​...yn​ 令集合 {1,2,...,m}\{1, 2, ..., m\}{1,2,...,m} 和集合 {1,2,...,n}\{1, 2
【论文阅读笔记】A Novel Recurrent Encoder-Decoder Structure for Large-Scale Multi-view Stereo Reconstruction
ChessZH的博客
03-11 384
论文阅读笔记 A Novel Recurrent Encoder-Decoder Structure for Large-Scale Multi-view Stereo Reconstruction from An Open Aerial Dataset
Hierarchical Recurrent Encoder-Decoder
angus_monroe的博客
10-21 1460
Hierarchical Recurrent Encoder-Decoder Building End-to-End Dialogue Systems Using Generative Hierarchical Neural Network Models Introduction seq2seq的典型方法，用前N-1句话生成第N句话。假如说现在A, B对话内容是：a1,b1,a2,b2a1,b1,...
[论文翻译]A Novel Recurrent Encoder-Decoder Structure for Large-Scale Mulit-view Stereo Reconstruction
weixin_44189610的博客
03-22 1692
这篇文章是武汉大学季顺平老师团队发表在CVPR2020上的一篇文章，主要贡献是开源了一个用于三维重建的大型空中模拟数据集，并在此基础上提出了一个机遇循环编解码结构的多视角深度估计网络。
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
A Survey on Deep Learning Techniques Applied to medical image analysis
AI天才研究院
08-13 280
作者：禅与计算机程序设计艺术 Introduction:Deep learning techniques have recently gained popularity in medical image analysis because they are capable of accurately identifying disease markers without relying on human intervention, enabling better decision-making and tre
[序列模型] Recurrent Neural Networks习题解析
云水木石
06-21 1551
又到了要命的世界杯期间，作为一名伪球迷，虽然不会熬夜看球，但对于正常时间场次的球赛还是会观看。开赛以来，每天都观看晚八点场，结果原计划的学习任务就悲剧了。望着即将到期的coursera帐号（coursera按月订阅），为了避免经济上的损失，不得不挣扎着继续学习了一周的课程。偏偏这周的循环神经网络又是如此难以理解，这次测试提交了好几次才得以通过。 这是课程[序列模型]第一周的练习题，一共1...
TIP 2021 | 用于光学遥感图像显著性目标检测的稠密注意力流网络与公开数据集...
阿木寺的博客
01-08 3653
点击上方“CVer”，选择加"星标"置顶重磅干货，第一时间送达本文转载自：BJTU MePro论文题目：Dense Attention Fluid Network for...
认识NR(零)：MIMO-OFDM中的信道关系
weixin_44863193的博客
11-03 3438
信道在空域和角度域的关系是空域做IDFT为角度域，==这样的原理是ULA天线的响应可以组成一个等相位间隔的天线标签，把他作为正交基地和空域信号做内积就可以得到空域信号在角度域的映射，转化为角度域信号，这个过程刚好是一个IDFT，以上这个过程可以确定一个空域的预编码矩阵在角度域的方向，也就是波束赋形的指向方向。由于OFDM的原因，这个变化的使用频率很高，经过OFDM的信号可以和时延域直接卷积，而在进行信道估计均衡等操作时，又可以利用这个性质直接把卷积转化为乘法，简化运算！信道的多普勒谱和信道。
人脸关键点检测论文总结
weixin_45595437的博客
05-09 1858
文章目录第一部分：人脸关键点检测历年论文汇总1.1 2014 年1.1.1 ECCV 2014: TCDCN —— Facial Landmark Detection by Deep Multi-task Learning 第一部分：人脸关键点检测历年论文汇总 1.1 2014 年 1.1.1 ECCV 2014: TCDCN —— Facial Landmark Detection by Deep Multi-task Learning 作者：香港中文大学汤晓鸥团队 出发点：人脸关键点的检测会受到其他任务
基于Encoder-Decoder模式的机器翻译模型原理及实现
小鹿的爸爸
11-22 8536
基于Encoder-Decoder模式的机器翻译模型原理及实现理论背景代码实现 关键词: Encoder-Decoder, LSTM, WordEmbedding 在机器学习领域，有很多任务是把一种样式的序列映射成另外一种样式的序列，比如把一种语言翻译成另一种语言，把一段语音转换成一段文本，给一段文字生成一句话简介，或者把一张图片转换成一段对图片内容的文字描述等。这些任务都可以看作是Seq2Se...
解码器之特征提取
qq_41445952的博客
01-09 1010
特征提取（fbank） 目的： 1.把每一帧波形变成一个包含声音信息的多维向量； 2.能够符合或类似人耳的听觉感知特性 3.在一定程度上能够增强语音信号、抑制非语音信号 fbank fbank的总体流程可以由下图表示，去掉（DCT）。 1.语音采样率： 语音采样率顾名思义就是在一秒长的音频上采样多少个幅值点。根据采样定理采样率要大于采样信号的两倍，才能还原原始信号信息。...
encoder-decoder原理解释
06-08
Encoder-decoder模型的原理是将输入序列经过编码器的处理，转换成一个固定长度的向量表示，然后解码器将这个向量表示转换成目标序列。 具体来说，编码器通常采用循环神经网络（Recurrent Neural Network，RNN）或者卷积神经网络（Convolutional Neural Network，CNN）等，对输入序列进行处理，生成一个固定长度的向量表示。在处理过程中，编码器会不断更新隐藏状态，同时将当前时刻的输入和前一时刻的隐藏状态作为输入，计算当前时刻的隐藏状态。当编码器处理完整个输入序列后，最后一个隐藏状态即为整个序列的向量表示。 解码器也通常采用循环神经网络或者卷积神经网络等，将编码器的向量表示转换成目标序列。在处理过程中，解码器会利用编码器生成的向量表示和前一个时刻的输出作为输入，不断更新隐藏状态，并预测当前时刻的输出。在训练过程中，模型会尝试最小化目标序列与真实序列之间的差距，以提高模型的翻译能力。 总的来说，Encoder-decoder模型通过将输入序列转化为固定长度的向量表示，再将该向量表示转化为目标序列，实现了输入序列到目标序列的映射。该模型的优点是可以处理变长的输入和输出序列，应用广泛，比如机器翻译、文本摘要、对话生成等任务。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值