小杜今天学AI了吗-CSDN博客

原创 Boosting Micro-expression Recognition via Self-expression Reconstruction and Memory Contrastive Lear

自表情重建作为正则化：本文提出将自表情重建作为辅助任务和正则化，以迫使特征编码器产生更通用的模式，既适用于微表情识别，也适用于微表情重建。自表情重建指的是从潜在的瓶颈特征中重建或恢复输入的表达式模板本身。斑块状丢弃机制（PDM）：为了克服自表情重建中的过拟合问题，本文引入了特别针对微表情识别的斑块状丢弃机制。该机制受到Dropout和掩码自编码器的启发，通过从部分面部区域推断和恢复表达式来减少模型对某些局部动作单元的过度依赖，从而提高模型的泛化能力。视觉变换器（ViT）的应用。

2024-09-13 22:05:09 795

原创 cvpr2024 Rethinking Multi-view Representation Learning via Distilled Disentangling

最佳视图一致和特定于视图的表示应该表现出强大的表示能力和最小的冗余。然而，流行的最先进的方法 [3, 11, 22, 56, 57] 通常忽略了最小化一致性和特异性之间冗余的关键方面，如图1所示，由现有端到端的方法导出的表示之间存在显著的相关性，这导致我们提出了一个重要问题：哪些因素有助于多视图表示中的依赖关系。这篇文章通过深入分析多视图表示学习中的挑战，提出了一种创新的蒸馏解缠结方法（MRDD），通过有效地分离视图一致性和特异性信息，并引入掩码跨视图预测策略，实现了高质量、低冗余的多视图表示学习。

2024-09-06 11:01:17 876

原创 Continuous Sign Language Recognition with Correlation Network 基于关联网络的连续手语识别

这篇文章提出了一种新的方法，即相关性网络（CorrNet），用于连续手语识别（CSLR）任务。手语识别是一个复杂的任务，因为它不仅依赖于单帧中的信息，还需要跨多帧捕捉身体（特别是手和面部）的运动轨迹来准确识别手语动作。传统的CSLR方法往往独立处理每一帧，忽略了帧之间的时间依赖性和运动轨迹，这限制了它们的识别性能。

2024-09-05 16:07:45 929

原创步态识别论文Dynamic Aggregated Network for Gait Recognition(1)

在本文中，我们提出了一个新的观点，即实际的步态特征包括多个关键区域的全局运动模式，每个全局运动模式由一系列局部运动模式组成。为此，我们提出了动态聚合网络( DANet )来学习更具判别性的步态特征。具体来说，我们在相邻像素的特征之间创建了一种动态注意力机制，不仅可以自适应地关注关键区域，而且可以生成更具表现力的局部运动模式。此外，我们开发了一种自注意力机制来选择具有代表性的局部运动模式，并进一步学习鲁棒的全局运动模式。

2024-08-27 15:38:45 861

原创 DDPM 核心代码解析（1）

所有代码已上传至目录结构如下在train_cifar.py 中展示了扩散模型训练的所有代码如果没有安装wandb 可以在create_argparser()设置 log_to_wandb=False。

2024-07-30 12:03:08 519

原创如何将本地代码上传到github

创建GitHub仓库：如果你还没有一个GitHub仓库，首先需要在GitHub上创建一个新的仓库。登录到你的GitHub账户，然后点击“New repository”按钮，填写仓库的相关信息，如仓库名称、描述、是否公开等。初始化本地仓库：在你的本地计算机上，打开命令行工具（如Git Bash、Terminal或Command Prompt），导航到你想要上传文件的目录。你可以尝试临时禁用代理，或者确保 Git 正确配置了代理设置。初始化本地仓库：在你的本地计算机上，在你想要上传文件的目录上右键点击。

2024-07-30 11:31:17 504

原创扩散模型系列0 DDPM:Denoising Diffusion Probabilistic Models

从7月12号开始学习了一些扩散模型的论文，越看越上瘾，对未知的渴求激励着我不断地读论文整理、学习、分析、理解以前发的博客仅仅是对论文的翻译，现在觉得仅仅翻译是不够的，读了一篇论文以后，要形成自己的知识框架，形成自己的理解！以下的是我看的几篇很有意义的文章也给大家推荐一下，也想和大家分享一下自己学习的一些收获和感受，还有推荐一下在b站看到的不错的讲解up主，一起共勉在bilibili发现了优秀的讲解up主VictorYuki通过他们的讲解学到了很多思考问题的角度，经过。

2024-07-29 22:11:26 647

原创扩散模型系列ControlNet: Adding Conditional Control to Text-to-Image Diffusion Models

此外，我们还报告了ControlNet的训练是稳健且可扩展的，适用于不同大小的数据集，并且对于某些任务（如深度到图像的条件控制），在单个NVIDIA RTX 3090Ti GPU上训练的ControlNet可以获得与在大型计算集群上训练的工业模型相媲美的结果。ControlNet锁住了准备生产的大规模扩散模型，并且重新使用了他们从数十亿图像上的预训练好的编码器层作为一个强大的骨架来学习多样的的条件控制，少神经网络架构和零卷积层相连接（用0初始化的卷积层）渐进式的从零增长参数，广泛的实验结果表明，

2024-07-29 20:45:50 873

原创生成模型（VQGAN）Taming Transformers for High-Resolution Image Synthesis

卷积方法学习视觉部分：首先，使用卷积方法高效地学习一个包含丰富上下文信息的视觉部分（或称为“视觉词汇”）的代码本（codebook）。这一步的目的是捕捉图像的局部结构和特征，这些局部结构是构建更复杂图像的基础。变换器建模全局组合：接下来，利用变换器架构学习这些视觉部分之间的全局组合。由于变换器擅长建模长距离交互，因此它们能够捕捉视觉部分之间复杂的、非局部的关系，从而生成更加逼真和复杂的图像。对抗性方法优化局部结构：同时，采用对抗性方法来确保局部部分的字典（即代码本）能够捕捉到感知上重要的局部结构。

2024-07-29 13:29:50 640

原创生成模型 VQVAE:Neural Discrete Representation Learning

VQ-VAE通过结合直通梯度估计和特定的损失函数，有效地解决了离散潜变量在训练中的梯度问题，并实现了对编码器、解码器和嵌入空间的联合优化。这种方法不仅避免了后验坍塌的问题，还能够在多种应用中生成高质量、连贯的样本。3.3 先验离散潜在变量 p(z) 上的先验分布是一种类别分布，并且可以通过依赖于特征图中的其他 z 来实现自回归。在训练 VQ-VAE 时，先验保持恒定且均匀。训练后，我们在 z 上拟合自回归分布 p(z)，以便我们可以通过ancestral sampling生成 x。

2024-07-29 11:37:38 1089

原创论文学习 StarGANv2 ——StarGAN v2: Diverse Image Synthesis for Multiple Domains

最后但并非最不重要的一点是，我们提出了一个新的动物人脸数据集（AFHQ），具有高质量和广泛变化（附录 A），以更好地评估图像到图像转换模型在大的域间和域内差异上的性能。给定一个潜在代码 z 和一个域 y，我们的映射网络 F 生成一个样式代码 = Fy (z)，其中 Fy (·) 表示对应于域 y 的 F 的输出。我们的生成器 G 将输入图像 x 转换为输出图像 G(x, s)，反映特定领域的样式代码 s，由映射网络 F 或样式编码器 E 提供。这里，Ey (·) 表示对应于域 y 的 E 的输出。

2024-07-10 19:54:46 1101

原创生成对抗网络 GAN——Generative Adversarial Nets

核心：提出了一个新的框架通过对抗过程估计生成模型.我们同时训练了两个模型：一个生成模型G（用来捕获数据分布），一个判别模型D（用来估计采样是来自训练数据而不是生成器的概率），G的训练过程是最大化D 犯错的概率，该框架对应一个最大最小化的两人游戏。2 最小化把G 生成的假图输入到判别器中时把假图判别为真的概率即（最大化log(1-D(G(z)）即优化目标函数：最大化D(G(z）即最小化min (log(1-D(G(z))(2)对于生成器G 目标是混淆判别器让判别器把生成器生成的假图判别为真。

2024-07-08 11:40:08 447 2

原创论文学习 Learning Robust Representations via Multi-View Information Bottleneck

设v1和v2是目标y的两个相互冗余的视图设z1是v1的表示。在极端情况下，v1 和 v2 只共享标签信息，在这种情况下，我们可以证明 y 的 z1 最小，并且我们的方法与监督信息瓶颈方法相同，而无需访问标签。在下一节中，我们将描述我们技术的基础，这是一种通过利用数据上的附加视图形式的冗余信息，即使没有观察到标签y，也可以安全地减少表示的信息内容的策略。(3)通过利用数据增强技术，我们的经验表明，我们的模型在单视图设置下学习的表征比现有的无监督表征学习方法更具鲁棒性，将我们的理论与增强策略的选择联系起来。

2024-06-20 19:47:54 602

原创 View-decoupled Transformer for Person Re-identification under Aerial-ground Camera Network

注意Eq.(3)中的t(j+1)m (xi)和t(j+1)v (xi)表示Fj的自我注意操作后更新的元和视图标记，补丁标记为xi。(3)，其中 t(j+1)v 捕获更多与视图相关的特征，并且 t(j+1)m 可以通过从全局（元）特征中删除 t(j+1)v 来捕获更多与视图无关的特征。(4) 通过 t(j+1)m 促进身份特征的学习，减轻视图偏差的干扰。请注意，蓝色虚线和黄色向量分别表示公式(3)在FN中输出的元标记和视图标记，蓝色向量表示Eq.(4)的结果，即FN输出的更新tN +1m (xi)。

2024-06-16 16:59:38 711

原创论文分享CausalVAE: Disentangled Representation Learning via Neural Structural Causal Models

【AI Drive】CVPR 2021 | CausalVAE：引入因果结构的解耦表征学习_哔哩哔哩_bilibili目标1 学习到的表征是具有唯一性的，是可以被识别的根据真实情况设置，代表真实的物理情况，引入结构因果模型，为了表征可识别引入监督信号2 在因果表征中实现 do operation什么是 do operation 对隐表征能进行干预的时候，因果效应可以传递到子节点通过干预可以让模型生成一些反事实的图片3 在现实场景中因果图不一定是直接given的让模型自动

2024-06-14 10:03:07 744

原创步态识别论文（7）GaitSCM Causal representation learning for gait recognition

步态识别是一种很有前景的生物识别技术，旨在通过行走模式识别目标主体。大多数现有的基于外观的方法都专注于从步态轮廓中学习有区别的时空表示。然而，这些方法较少关注探索身份因素和身份标签之间的因果关系，这往往误导模型学习易受身份无关因素影响的步态表示。在本文中，我们将导致模型在不同外部条件下泛化能力下降的原因归因于与身份无关的因素。我们将身份因素、身份无关因素和身份标签之间的因果关系定义为结构因果模型 (SCM)。据此，我们提出了一种新的步态识别框架GaitSCM来学习协变量不变步态表示，该框架主要由。

2024-05-22 21:49:55 1152

原创论文学习 Transformer ： Attention Is All You Need

transformer 是一个encoder ——decoder 结构的用于处理序列到序列转换任务的框架，是第一个完全依赖自注意力机制，计算其输入输出表示的转换模型，核心是采用了注意力机制用于捕获输入序列不同位置之间的依赖关系，帮助模型在生成输出时能够关注到与当前任务最相关的信息，优势是能够捕获长距离依赖关系，并且对于输入序列的长度没有固定的限制，在处理长文本和复杂语言结构时表现出色，在编码器解码器框架。

2024-05-11 22:27:59 918

原创论文研读 An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale

Vision Transformer（ViT）是一种将Transformer架构直接应用于图像分类任务的模型。它源于自然语言处理（NLP）领域中的Transformer模型，该模型以其自注意力机制而闻名，能够捕捉序列中的长距离依赖关系

2024-05-11 21:02:05 466

原创论文研读 Disentangled Information Bottleneck

压缩是机器学习中普遍存在的任务，为了提高计算效率过度参数化的网络使用剪枝进行压缩，机器可以讲复杂的数据转化为可以泛化的压缩表示，确定数据的哪些方面可以保留，哪些方面可以舍弃是很重要的，信息瓶颈理论提供了一种原则性的方法来解决这个问题，它压缩源随机变量以保留与预测目标随机变量相关的信息，最近的研究表明，信息瓶颈的方法可以产生具有很好泛化性能的表征，并且有望解释神经网络的学习行为，给定随机变量X,Y 他们的联合概率分布是。简而言之，信息瓶颈技术试图在减少信息量的同时，保持或提高预测的准确性。

2024-05-10 20:55:08 709

原创论文阅读】 ICCV-2021-3D Local Convolutional Neural Networks for Gait Recognition

然后，通过局部近程二维部分特征的时序拼接，聚合所有帧中同一条纹对应的特征;在GaitSet[3]和GLN[11]中，

2024-05-08 23:06:48 1201 1

原创论文分享[cvpr2018]Non-local Neural Networks非局部神经网络

将非局部操作作为通用构建块家族，用于捕获长距离依赖关系。受计算机视觉中经典的非局部均值方法的启发，我们的非局部操作将位置响应的计算为所有位置的特征的加权和。这个构建块可以插入到许多计算机视觉架构中。在视频分类任务中，即使没有任何花里胡哨（without any bells and whistles），我们的非局部模型也可以在 Kinetics 和 Charades 数据集上竞争或优于当前的竞赛获胜者。

2024-05-08 21:41:08 936

原创 Transformer 解析超级详细版

推荐学习视频transformer是谷歌大脑在2017年底发表的论文中所提出的seq2seq模型. 现在已经取得了大范围的应用和扩展, 而BERT就是从transformer中衍生出来的预训练语言模型.应用：上游应用（训练一个预训练语言模型）下游任务（情感分析、分类、机器翻译）

2024-05-06 11:17:45 665

原创深度学习论文代码研读系列（1）Transformer:Attention Is All You Need

主要的序列转导模型基于复杂的循环或卷积神经网络，其中包括编码器和解码器。性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单的网络架构 Transformer，它完全基于注意力机制，完全摒弃了递归和卷积。对两个机器翻译任务的实验表明，这些模型在质量上更优越，同时更可并行化，并且需要的训练时间显着减少。我们的模型在 WMT 2014 英德翻译任务上达到了 28.4 BLEU，比现有的最佳结果（包括集成）提高了 2 BLEU 以上。

2024-05-06 09:47:30 620

原创步态识别论文（6）GaitDAN: Cross-view Gait Recognition via Adversarial Domain Adaptation

视角变化导致步态外观存在显着差异。因此，识别跨视图场景中的步态是非常具有挑战性的。最近的方法要么在进行识别之前将步态从原始视图转换为目标视图，要么通过蛮力学习或解耦学习提取与相机视图无关的步态特征。然而，这些方法有许多约束，例如处理未知相机视图的难度。这项工作将视角变化问题视为域更改问题，并提出通过对抗性域适应来解决这个问题。这样，不同视角的步态信息被视为来自不同子域的数据。该方法侧重于调整源域变化引起的步态特征差异，同时在不同人之间保持足够的可辨别性。为此，提出了一种。

2024-05-05 21:43:10 956

原创论文研读 ——用于医学图像分类的双引导的扩散网络

在训练阶段，我们将扩散过程应用于ground truth y0和不同的先验，生成三个噪声变量yg t, yl t和yt (yg t的全局先验，yl t的局部先验和yt的双先验)。我们评估了我们的DiffMIC在三个具有不同图像模式的医学分类任务上的有效性，包括超声图像的胎盘成熟度分级、皮肤镜图像的皮肤病变分类和眼底图像的糖尿病视网膜病变分级。基于扩散概率模型在生成图像建模中的成就，我们提出了一种新的基于扩散去噪的模型DiffMIC，用于准确分类不同的医学图像模式。图1显示了我们的医学图像分类网络的示意图。

2024-05-03 23:37:05 747

原创步态识别论文（5）HiH: A Multi-modal Hierarchy in Hierarchy Network for Unconstrained Gait Recognition

步态识别在受控环境中取得了可喜的进展，但由于视角变化、遮挡和行走速度变化等挑战，它在不受约束的环境中面临巨大挑战。此外，由于跨模态不兼容，融合多种模式的努力往往面临有限的改进，特别是在室外场景中。为了解决这些问题，我们在层次网络中提出了一个多模态层次结构，该网络集成了轮廓和姿势序列以实现稳健的步态识别。HiH 的特色是它的主要分支，这个分支利用分层步态分解器 (HGD) 模块对来自轮廓数据的一般步态模式进行深度和模块内分层检查。

2024-05-03 23:36:21 919

原创（2）HSTL步态识别代码解析超详细版

输入数据经过了arme1 这是一个三维卷积由于out=(in-k+2p)/s+1 带入参数输出数据 s, h, w维度不变只是通道数改变 in_c[0]=32 所以。数据又经过了一个 self.astp1 ，进入ASTP类，看一下这个类的forward 函数，经过了一个池化操作，这个池化就是一个torch.max()学习完论文我们回归代码，看一下每一部分是怎么实现的。outs 输出维度变为 n,32,s,h,w。主干网络定义了类——class HSTL。输入数据维度n s h w。

2024-05-03 23:35:24 386

原创 (4)步态识别论文研读——增强时空显著性的跨视图步态识别

步态识别可以单独或与其他生物特征相结合，用于个人识别和再识别。虽然步态同时具有空间和时间属性，

2024-05-03 23:34:23 1073

原创 Multi-VAE：学习解纠缠公共视图和独特视图的视觉表示以用于多视图聚类

我们考虑以下生成模型（即联合概率）：p(xv , zv , c) = p(xv |zv , c)p(zv , c) = p(xv |zv , c)p(zv )p(c), (2) 其中视图公共变量 c 由所有视图共享并表示它们的集群信息。它在[15,28]中讨论了它的可微松弛。在 β-VAE 中，ELBO 包含似然项和 KL 散度 (DKL) 项：LELBO (x) = Eq(z|x) [log p(x|z)]-βDKL(q(z|x)||p(z))，(1) 其中观察到的样本 x 是从潜在变量 z 生成的。

2024-04-26 10:09:02 1151

原创告别互信息:跨模态人员重新识别的变分蒸馏

2)我们的方法不依赖于[6]中提出的强假设，即每个视图提供相同的与任务相关的信息。在广泛采用的基准数据集上进行的广泛实验表明，我们的方法对最先进的方法的有效性、鲁棒性和令人印象深刻的性能。为了验证我们理论基础的策略，我们将我们的方法应用于跨模态人 Re-ID，并进行了广泛的实验，其中展示了与最先进的方法相比的优越性能。为了更好地说明，我们在监督学习的背景下简要回顾了 IB 原则 [35]，数据观察 V 和标签 Y ，表示学习的目标是获得一个编码 Z，它对 Y 的信息量最大，由互信息衡量：（1）

2024-04-24 22:00:50 903

原创 (5)步态识别论文研读——GaitDAN:基于对抗域适应的跨视角步态识别

在本文中，一般的 3D 卷积神经网络 (CNN) 被用作基本分支，因为之前的 SOTA 工作 [1, 12-14] 已经证明稳健的时空表示是基于轮廓序列的步态识别的关键，并且 3D CNN 可以带来出色的性能优势。具体来说，通过最大化AVE模块的损失来学习特征提取器GF的参数WF，而AVE模块的参数WAV E通过最小化AVE模块的损失来学习。由于步态识别的输入是简单的二进制轮廓序列，缺乏颜色和纹理信息，通道权重无法准确反映通道的重要性，而是可能会引入噪声并干扰原始特征提取，特别是对于浅层步态特征图。

2024-04-23 22:08:40 999

原创 pytorch 今日小知识3——nn.MaxPool3d 、nn.AdaptiveAvgPool3d、nn.ModuleList

你可以把任意 nn.Module 的子类 (比如 nn.Conv2d, nn.Linear 之类的) 加到这个 list 里面，方法和 Python 自带的 list 一样，无非是 extend，append 等操作。但不同于一般的 list，加入到 nn.ModuleList 里面的 module 是会自动注册到整个网络上的，同时 module 的 parameters 也会自动添加到整个网络中。它会根据目标输出大小自适应地调整池化窗口的大小，以保证输出的大小和目标大小一致。3.在复现代码过程中遇到了。

2024-04-16 22:20:30 1042

原创 (4)步态识别论文研读——用于步态识别的分层时空表示学习

例如，在步态周期中，脚和下身具有不同的运动特征。例如大腿和小腿，由于它们之间的强运动相关性而重叠如头部和脚，很容易分离表明语义体区域可以在更高的聚类级别捕获，而无需精确定位身体部位，作者认为之前的基于整体和部分的表示都不够全面，基于整体的没有考虑到局部之间的细节，基于part 的区域的划分没有考虑到运动特征之间的依赖关系，比如大腿小腿就有强运动关系所以充分对区域进行划分是关键问题。特征提取器提取到的特征往往是高维度，含参量比较大的，将原始的高维特征空间映射到一个低维连续的向量空间。

2024-04-16 12:04:31 1074

原创 pytorch 今日小知识2——F.avg_pool2d、clamp

kenerl维度：（二维:表示width的跨度）channel和输入的channle一致，如果数据是三维，则channel为1.(如果只写一个数n，kenerl=(n,n))这样做通常是为了避免数值不稳定问题，尤其是在进行对数运算、除法运算或幂运算时。将池化后的结果张量中的每个元素取6.5的倒数次幂。这个函数中的F.avg_pool2d 不是很理解就查了一下。（经过clamp操作后）中的每个元素提升到6.5的幂。操作的逆操作，用于恢复原始数据的某种形式。（一个非常小的正数）的值都会被替换为。

2024-04-15 22:16:38 657

原创深度学习图像处理基础工具——opencv 实战2 文档扫描OCR

简单来说，就是有这么一副图像，它的拍摄视角不是从正面拍摄的，而是带有一定的角度，我们希望能得到从正面观察的视角。使用了 order_points 函数思路：四个坐标（a，b） a+b 最大的是右下的点最小的是左上 b-a z最小的是右上最大的是左下（假设h >w）返回的是排序好的rect。如何将四边形转化为矩形？使用到了四点transformer函数（见后文）变换输入 image 原图和上一步返回的坐标点输出是变换后的结果。输入的坐标点可能是乱序的，怎么进行上下左右排序？

2024-04-14 17:02:32 1139

原创深度学习图像处理基础工具——opencv 实战信用卡数字识别

2.处理输入的带数字的银行卡（1）预处理我们需要拿到的是一组一组的数字一共四组读取文件——变换大小——转化为灰度图——形态学操作（礼帽操作突出明亮区域——梯度操作计算轮廓信息——闭操作将数字连在一起——二值化操作寻找合适阈值——再来一个闭操作——计算轮廓——遍历轮廓（选择合适区域排除不是数字的轮廓）——轮廓排序——遍历轮廓的每一个数字——预处理计算每一组轮廓——计算每一组中的每一个值——匹配得分——得到数字画出来——得到结果——打印结果）# 找到当前数值的轮廓，resize成合适的的大小。

2024-04-14 14:40:18 1328

原创 python 今日小知识3—— vars() 函数

总结来说，vars() 函数用于获取对象的属性和属性值，并以字典的形式返回。它在调试、动态查看对象的属性和值以及进行反射等场景下很有用。对于内置类的实例对象（如列表、字符串等），vars() 函数返回的字典通常只包含内置属性和方法，并不包含实例化时添加的自定义属性。当在全局作用域内调用 vars() 函数时，它返回当前全局作用域中的变量和值的字典。对于自定义类的实例对象，vars() 函数返回的字典将包含实例的属性和属性值。当在函数内部调用 vars() 函数时，它返回当前函数的局部变量和值的字典。

2024-04-14 09:22:20 437

空空如也

空空如也