Seeing What You Said: Talking Face Generation Guided by a Lip Reading Expert 论文笔记

最新推荐文章于 2024-05-10 21:25:43 发布
最新推荐文章于 2024-05-10 21:25:43 发布
阅读量196 收藏
点赞数
分类专栏： 机器学习算法 文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40467931/article/details/133094545
版权
机器学习算法 专栏收录该内容
41 篇文章 3 订阅 ¥9.90 ¥99.00
订阅专栏

最近一直在看虚拟人像. 

最关键的论文就是wav2lip. 目前项目中也是用的这个. 一个视频加一个语音, 就可以生成用视频里面的头,加语音的新视频.

现在看这篇论文Seeing What You Said: Talking Face Generation Guided by a Lip Reading Expert.
主要是搜了没有相关论文, 所以就自己写一下笔记作为记录学习.

还是惯例,直接第三章走起.

 3.1

　　做一个lip reading expert. 使用AV-Hubert提供一个唇语阅读器. (也就是输入视频,返回里面说的文字)

看图的意思是这个模型输入video,输出音频.

3.2

　　音频编码器使用cnn和transfomer.

3.3

　　视频编码编码个人信息和姿态信息. 

　　姿态信息是人脸下半部分挡住,不学嘴唇运动信息.

　　个人信息是视频里面随机片段.

 3.4

　　第一个损失函数:

 其中Ni是多少个

了解本专栏 订阅专栏 解锁全文
15122306087
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
all-seeing-bot:Repl.it不和谐审核机器人
05-07
所有看见的机器人 这是由AllAwesome497和repl.it discord创建的机器人，该repl.it discord已在本周repl.it App事件中得到了体现。 除非每条消息具有以下五种内容类型之一，否则均视为违法： 禁止词（100％可自定义...
CVPR2017论文摘要汇总
热门推荐
super_chicken的博客
04-09 1万+
1. Exclusivity-Consistency Regularized Multi-view Subspace Clustering Abstract: Multi-view subspace clustering aims to partition a set of multi-source data into their underlying groups. To boost the ...
论文总结：Seeing What You Said: Talking Face Generation Guided by a Lip Reading Expert
m0_46312382的博客
10-03 160
在训练的时候，会选择一个T时刻的0.2s的音频送入基于CNN的audio ecoder中。与之对应的T时刻的图像mask嘴唇部分，再与随机选择的身体参考图像合拼在一起，作为基于CNN的video encoder的输入。由生成器生成的图像会与真实的图像之间取L1 Loss，将两者放入鉴别器取一个对比损失。将生成的图像插入替换原来的视频帧，送入已经冻结的唇读专家中，这里会将visual context features与经过audio ecoder后的结果，做一个loss。在这篇论文中，作者主要注重嘴唇同步。
卧剿，6万字！30个方向130篇！CVPR 2023 最全 AIGC 论文！一口气读完。
idol24的博客
06-24 3869
一杯奶茶，成为 AIGC+CV 视觉前沿弄潮儿！25个方向！CVPR 2022 GAN论文汇总35个方向！ICCV 2021 最全GAN论文汇总超110篇！CVPR 2021 最全GAN论文梳理超100篇！CVPR 2020 最全GAN论文梳理在最新的视觉顶会CVPR 2023会议中，涌现出了大量基于生成式AIGC的CV论文，包括不限于生成对抗网络GAN、扩散模型diffusion等等！除...
【论文合集】Awesome Low Level Vision
m0_61899108的博客
04-10 4013
介绍Low-level任务以及视觉顶会中的相关文章。
a4-seeing-music:GitHub Classroom创建的a4-seeing-music
04-07
6.859 A4：看音乐团队成员蕾切尔·福克斯（rfuchs） AlizéeSchoen（阿姆舒恩） 克莱尔·尹（音）数据集我们使用了，其中包含可追溯到1920年的首歌曲。设计决策设计决策的基本原理。 您如何选择特定的视觉编码，交互...
seeing-without-looking:PyTorch实施，实现了不看就看
05-04
视而不见：用于AP最大化的对象检测的上下文记录 [ ] [ ] 介绍 “不看就看”是一种旨在通过使用从同一图像中其他对象推断出的上下文信息对对象检测进行记录来提高平均精度的方法。 该模型接受一组已进行的检测，并...
seeing-science:美国大学教育神经科学实验室
03-18
seeing-science:美国大学教育神经科学实验室
seeing-sprouts:浏览器扩展程序，将图像替换为抱子甘蓝
05-07
看到豆芽使用浏览器扩展程序，用布鲁塞尔芽菜照片替换网页上的所有图像。支持的浏览器工作版本是作为构建的 :fox:支持的蔬菜最初创建该项目是为了庆祝新芽。 但是现在，的支持，人们可以享用更多蔬菜，营养丰富的...
【论文笔记】KAN: Kolmogorov-Arnold Networks 全新神经网络架构KAN，MLP的潜在替代者
1
05-07 804
​ KAN可以先用一个参数较少的模型进行训练，然后通过使其样条网格更精细，将其扩展到具有更多参数的KAN，而不需要从头开始重新训练更大的模型。**持续学习：**借助样条设计的局部性天然优势，KAN可以在新数据上实现持续学习，规避了机器学习中存在的灾难性遗忘问题。**偏微分方程求解：**在求解泊松方程时，KAN比MLP更准确，敛速度更快，损失更低，并且具有更陡峭的神经标度率表现。​ 增加MLP的宽度和深度可以提高性能，但不同大小的MLP训练是独立的，训练这些模型的成本很高。
论文阅读-THE GENERALIZATION GAP IN OFFLINE REINFORCEMENT LEARNING（ICLR 2024）
hzlalb的博客
05-07 1029
不过，所有的方法都有类似的generalization gap即二者的差值，证明了它们的泛化能力是类似的，同时也说明了BC在多样的数据集下训练能够获得非常好的性能，即使这些demonstration是suboptimal的。在次优数据集上(图18 )，所有方法的训练和测试性能都很差，与先前的工作相反，在我们的设置中，当我们从行为策略的训练日志中的子集上采样并训练离线学习算法时，得到的离线学习策略根本没有泛化能力，甚至在200个训练水平上也没有表现出良好的性能。对于其余算法，见附录中的图16。
【论文阅读】Learning Texture Transformer Network for Image Super-Resolution
博客
05-04 1137
我们研究了图像超分辨率 (SR)，旨在从低分辨率 (LR) 图像中恢复逼真的纹理。最近的进展是将高分辨率图像作为参考（Ref），从而可以将相关纹理转移到 LR 图像。然而，现有的 SR 方法忽略了使用注意力机制从参考图像传输高分辨率 (HR) 纹理，这在具有挑战性的情况下限制了这些方法。在本文中，我们提出了一种用于图像超分辨率 (TTSR) 的新型纹理变换器网络，其中 LR 和 Ref 图像分别被表述为变换器中的查询和键。
【论文阅读】Fuzz4All: Universal Fuzzing with Large Language Models
lrzHHl的博客
05-07 735
Fuzzing在发现各种软件系统中的错误和漏洞方面取得了巨大成功。以编程或形式语言为输入的被测系统（SUT），例如编译器、运行时引擎、约束求解器和具有可访问API的软件库，尤其重要，因为它们是软件开发的基本构建块。然而，用于此类系统的现有模糊器通常针对特定语言，因此不能容易地应用于其他语言甚至同一语言的其他版本。此外，现有模糊器生成的输入通常仅限于输入语言的特定特征，因此很难揭示与其他或新特征相关的错误。
（论文阅读-优化器）Selectivity Estimation using Probabilistic Models
junerli的博客
05-06 689
对于涉及多个属性选择和多个关系连接的复杂查询，其结果大小的估计是数据库查询处理中一项困难而又基本的任务。它出现在基于成本的查询优化、查询分析和近似查询回答中。在本文中，我们展示了如何有效地使用概率图形模型作为跨多个关系的多个属性联合频率分布的精确和紧凑的逼近来完成这项任务。概率关系模型(Probabilistic Relational Models, PRMs)是最近的一项发展，它将图形统计模型(如贝叶斯网络)扩展到关系领域。它们表示表中属性之间以及跨外键连接的属性之间的统计依赖关系。
TDN: Temporal Difference Networks for Efficient Action Recognition 论文阅读
最新发布
weixin_44609958的博客
05-10 767
时间建模在视频动作识别中仍然是一个具有挑战性的问题。为了缓解这个问题，本文提出了一种新的视频架构，称为Temporal Difference Network（TDN），重点是捕获多尺度的时间信息以实现高效的动作识别。我们TDN的核心是通过明确利用时间差分算子设计一个高效的时间模块（TDM），并系统评估其对短期和长期运动建模的影响。为了完全捕获整个视频的时间信息，我们的TDN采用了两级差分建模范式。
《Video Mamba Suite》论文笔记（1）Mamba在时序建模中的作用
Zssss12的博客
05-06 1125
理解视频是计算机视觉研究的基本方向之一，在大量致力于探索 RNN、3D CNN 和 Transformer 等各种架构的工作的努力下。新提出的状态空间模型架构，例如 Mamba，展现出了其能够将长序列建模方面的成功扩展到视频建模领域的良好特性。为了评估 Mamba 是否可以成为视频理解领域中 Transformer 的可行替代方案在这项工作中，我们进行了一组全面的研究，探索 Mamba 在视频建模中可以扮演的不同角色，同时研究 Mamba 可能展现出良好性能的不同任务。
【论文阅读】Sparse is Enough in Scaling Transformers
博客
05-04 1135
大型变压器模型在许多任务上都取得了令人印象深刻的结果，但训练甚至微调的费用很高，而且解码速度太慢，以至于它们的使用和研究变得遥不可及。我们通过利用稀疏性来解决这个问题。我们研究了变压器中所有层的稀疏变体，并提出了缩放变压器，这是下一代变压器模型系列，它使用稀疏层来有效地扩展，并在我们扩展模型大小时比标准 Trans- former 更快地执行非批处理解码。令人惊讶的是，稀疏层足以获得与具有相同参数数的标准变压器相同的困惑度。
【论文阅读】HAT-Activating More Pixels in Image Super-Resolution Transformer
博客
05-04 1103
基于 Transformer 的方法在图像超分辨率等低级视觉任务中表现出令人印象深刻的性能。然而，我们发现这些网络只能通过归因分析利用有限空间范围的输入信息。这意味着 Transformer 的潜力在现有网络中仍未得到充分利用。为了激活更多的输入像素进行重建，我们提出了一种新颖的混合注意力转换器 (HAT)。它结合了通道注意力和自注意力方案，从而利用它们的互补优势。此外，为了更好地聚合跨窗口信息，我们引入了重叠交叉注意模块来增强相邻窗口特征之间的交互。
【论文阅读笔记】MAS-SAM: Segment Any Marine Animal with Aggregated Features
qq_46056318的博客
05-07 683
MAS-SAM：利用聚合特征分割任何海洋动物PaperCode(空的)最近，分割任何模型（SAM）在生成高质量的对象掩模和实现零拍摄图像分割方面表现出卓越的性能。然而，作为一种通用的视觉模型，SAM主要是用大规模自然光图像训练的。在水下场景中，由于光的散射和吸收，它表现出显著的性能下降。同时，SAM解码器的简单性可能会导致丢失细粒度的对象细节。为了解决上述问题，我们提出了一种新的特征学习框架MAS—SAM的海洋动物分割，其中包括整合有效的适配器到SAM的编码器和构建一个金字塔解码器。
This application has no explicitmapping for error, so you are seeing this as a fallback,
08-30
"This application has no explicit mapping for /error, so you are seeing this as a fallback" 这个错误信息通常出现在使用Spring框架开发的Web应用程序中。它表示当用户请求一个没有被显式映射到任何处理程序方法的URL时，Spring无法找到合适的处理程序。这可能是因为开发人员没有在控制器类中添加适当的@RequestMapping注解来映射该URL，或者可能是请求的URL路径拼写错误或不正确。在这种情况下，Spring会返回一个默认的错误页面，以通知用户请求的资源未找到。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [异常：This application has no explicit mapping for /error, so you are seeing this as a fallback解决...](https://blog.csdn.net/qq_36411874/article/details/93486993)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [This application has no explicit mapping for /error, so you are seeing this as a fallback.](https://blog.csdn.net/qq_39208536/article/details/128160833)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [word源码java-springboot2.0:springboot2.0、Mybatis-Plus、encache](https://download.csdn.net/download/weixin_38534683/19407985)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

15122306087

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值