![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 78
Deep Learning的相关学习笔记
pzb19841116
大龄男讲师
展开
-
Facial Micro-Expression Recognition Based on DeepLocal-Holistic Network 阅读笔记
针对微表情短暂且强度低的特点,微表情数据在空间和时间域中都是稀疏的。因此,借鉴Wang等人的思想,将微表情中的细微动作信息视为所需的E,将噪声视为A,采用RPCA从微表情帧中提取稀疏信息,然后将提取的信息馈送到RPRNN,学习微表情的稀疏和整体特征。然而,微表情样本数量少且微表情的微妙短暂特性限制了深度学习与微表情识别方法的结合,因此,如何有效学习微表情特征对于进一步提高性能至关重要。深度本地-整体网络通过HCRNN和RPRNN的融合,捕获了局部-整体、稀疏-丰富的微表情信息,并提高了微表情识别的性能。原创 2024-04-10 11:40:01 · 949 阅读 · 0 评论 -
Transformers in Vision:A Survey 阅读笔记
Visual Grounding with Transformer[206]具有编码器-解码器架构,其中视觉标记(从预训练的CNN模型中提取的特征)和文本标记(通过RNN模块解析)在编码器的两个不同分支中并行处理,具有跨模态注意力,以生成文本引导的视觉特征。尽管有人可能认为像Transformer模型这样的架构应该是通用的,可以直接应用于各个领域,但我们注意到,预训练这些模型所需的高计算成本和时间成本需要新的设计策略,使它们在视觉问题上的训练更具成本效益。原创 2024-04-03 16:41:53 · 1070 阅读 · 0 评论 -
Integrating VideoMAE based model and Optical Flow for Micro- and Macro-expression Spotting 阅读笔记
VideoMAE 是基于视频掩模自编码器的自监督视频预训练方法,旨在利用视频的时间维度作为静止图像的时间演变,并解决视频中的语义冗余和时间相关性。如图1中的总体框架图所示,我们的方法分为3个部分:数据集预处理、基于VideoMAE的自监督训练、区间融合和后处理策略。该方法的目标是自动识别微表情和宏观表情。我们通过训练多个宏观和微观表情模型,采用不同的细粒度和生成不同长度的表情片段,探索最佳的组合方法。一般而言,与微表情相关的任务主要包括两个方面:长视频中的微表情识别和微表情片段中的情绪识别。原创 2024-03-26 09:57:05 · 683 阅读 · 0 评论 -
Three Stream Graph Attention Network using Dynamic Patch Selection for the classification ofME 阅读笔记
对于图网络的第一流,节点特征向量是面部地标点的 x 和 y 位置坐标,用于理解每个地标点相对于其先前位置的运动变化。在计算了每个关键点上的光流特征矩阵后,对特征矩阵进行了零填充,使其变成10×10的补丁大小,以便简化计算。光流幅度特征向量是图网络的第二个流的输入,而光流方向特征向量是图网络的第三个流的输入。然后,根据节点的注意力分数以及所选的池化比率 k,选择保留在图中的前 k 个节点。1.微表情具有微妙而短暂的行为特征。基于保留节点及其之间的连接,创建新的特征矩阵和新的邻接矩阵,形成新的图结构。原创 2024-03-13 13:48:00 · 683 阅读 · 0 评论 -
3D-CNN FOR FACIAL MICRO-AND MACRO-EXPRESSIONSPOTTING ON LONG VIDEO SEQUENCES USING TEMPORALORIEN阅读笔记
漂移误差是光流方法的一个挑战,尤其是在需要准确追踪物体长时间运动的应用场景中,如高帧率宏表情的分析。这有助于捕捉图像中的局部特征。它的主要作用是通过去除信号中的高频噪声,同时保留低频信号,来平滑或清除信号中的不需要的频率成分。我们提出了一个基于3D-CNN的两流网络(如图1所示),利用ME和MaE的持续时间差异,通过在每个流中使用不同数量的跳帧来使一个网络对ME更敏感,另一个对MaE更敏感。我们注意到先前的尝试缺乏基于持续时间的分析,因此提出了一个基于两者持续时间差异的两流网络,用于微表情和宏表情的识别。原创 2024-03-12 06:03:04 · 813 阅读 · 0 评论 -
Facial Micro-Expressions:An Overview 阅读笔记
ME生成是ME分析的新方向,尽管当前生成的ME质量尚不够逼真,但进一步的研究预计将在其他ME分析方面发挥作用,如MER、ME检测和ME AU检测,同时也可用于增强现实、人机交互等领域。早期的自发微表情(ME)数据集主要包含前方的2D视频,因为这相对容易收集和分析,导致大多数现有的ME方法只能分析前方面部,并无法处理现实世界应用中的挑战,如光照变化、遮挡和姿态变化。为了在长视频中区分MaEs和MEs,提出了基于频率的ME定位方法,通过利用频率域中的信息来定位ME序列中的顶点帧,这可以反映面部变化的速率。原创 2024-03-06 10:59:02 · 827 阅读 · 0 评论 -
MESNet:A Convolutional Neural Network forSpotting Multi-Scale Micro-ExpressionIntervals 阅读笔记
通过多尺度分析,如不同长度的归一化或多尺度视频采样,基于间隔的定位方法可以适应和检测不同长度的ME片段,并更好地区分ME和其他类型的面部运动。每个子网络相当于在视频上滑动的固定长度窗口,其输出是一组概率,表示与滑动窗口对应的视频片段属于ME的可能性。目前的研究仍然面临一个挑战,即如何从有限的数据中有效地提取或学习最具代表性的时空特征,从而准确地定位长视频中的ME时间位置。微表情研究初期,仅考虑在收集微表情样本时仅记录发生微表情时的视频片段,即所谓的短视频,包括微表情发生前几帧和发生后几帧。原创 2024-03-02 14:23:46 · 985 阅读 · 0 评论 -
Data Leakage and Evaluation Issues inMicro-Expression Analysis 阅读笔记
碎片化指的是评估协议或方法的分散、零散,导致评估过程不一致或无法比较不同模型的性能。为了解决这个问题,作者梳理了常见的陷阱,提出了一个新的标准化评估协议,使用了超过2000个微表情样本的面部动作单元,并提供了一个实现标准化评估协议的开源库。在训练过程中使用测试数据的信息可能导致较大的正向偏差,但这种正向偏差是误导性的,不代表可泛化的性能,特别是当一个折叠只是一个单独的主体时。然而,最近我们注意到了一个令人担忧的趋势,即出现了极高但不可靠的性能,接近完美表现,并在分析可用源代码时出现了潜在的评估问题。原创 2024-02-27 13:00:05 · 561 阅读 · 0 评论 -
Geometric Graph Representation with Learnable Graph Structure and Adaptive AU Constraint 阅读笔记
然而,一方面,现有的基于特征点的图聚合动态信息的工作,如光流和放大的形状特征,仍然需要花费大量的计算成本来提取这些特征。相反,人脸特征点是一种更紧凑的模态,可以为MER保留具有判别性的几何特征,并取得了良好的性能。总体而言,在较早的层中,AAU损失约束模型侧重于从人脸特征中学习高层的AU特征,而在较深的层中,则侧重于从高层的AU特征中学习高层的ME特征。我们提供了一种简单高效的方法,直接将基于特征点坐标的几何特征作为节点特征,而不是提供复杂且昂贵的外观特征或不易获取的AU特征。原创 2024-02-22 10:56:04 · 548 阅读 · 0 评论 -
图卷积网络-第三课(无监督图学习)
编码器的作用试讲输入的数据X转换为一个低维的表征Z,解码器的作用是将低维表征Z重构为一个新的数据,这个新生数据应尽可能与输入数据相像。主要是将数据输入到神经网络中,经过编码生成中间的向量,再通过解码还原数据,其损失函数就是原始数据与生成数据之间的差异。自编码器是生成与输入数据相似的数据,与自编码器相比,变分自编码器的作用是输入一个数据,输出另一个数据。输入一个数据,不是生成一个嵌入空间的点,而是生成一个分布,再从这个分布中随机采样生成一个新的数据。自编码器的损失函数是输入与输出数据的欧氏距离。原创 2023-07-24 12:42:44 · 220 阅读 · 0 评论 -
图卷积网络-第四课(有监督学习)
归纳式学习与人类学习的模式相近,目前常见的机器学习、深度学习算法,都算是归纳式学习。这个是注意力模型,yi为输入的信息(图像、语音等),C为上下文信息,Z为输出的关键信息。我理解的就是相同的算法多运行几遍,结果取一个平均,用于抵消单次运行引入的随机性。GraphSAGE是一个迭代算法,可以为一个确定图中所有的节点学习出图嵌入。GraphSAGE的目的是,通过邻居节点,为每个节点学习一个表征。这个K参数表明算法是使用了几阶的邻居节点,参与了当前节点的计算。看图可知,离中心节点的距离越近,则权重越高。原创 2023-07-26 17:31:05 · 129 阅读 · 0 评论 -
图卷积网络-第二课(图神经网络概论)
通过新的邻接矩阵计算出对应的度矩阵,再计算出度矩阵的逆矩阵(因为度矩阵都是大于1的,参与运算后越乘值越大,所以要取逆)。图卷积网络的基础思想是,将当前节点与一阶邻域节点的信息进行一个融合(这里看算法),融合后的结果送入卷积网络参与运算。图卷积网络GCN是一种可以直接作用于图结构的卷积神经网络,他可以很好的利用相关的结构信息。可看出,跟卷积神经网络的数学模型很类似,最后是一个softmax,索命最后的结果是个分布。图的保存方式为邻接矩阵。将新的邻接矩阵左右各乘以邻接矩阵的逆矩阵,缩放的同时,也有稀疏的作用。原创 2023-07-23 23:07:32 · 191 阅读 · 0 评论 -
图神经网络-第一课(图的知识)
一个是用规则的卷积核对图像局部区域进行处理。一个是对节点进行处理。报了七月在线的课程,记录一下知识的要点,老师讲的蛮不错。本质跟CNN一样,但是图的复杂一些,AF充当了X。一个强大的python包,用于保存处理图的数据。CNN与GNN的分类与分割的区别。两者的感受野 计算方法也不同。常用的工具:NetworkX。图的研究内容之一:节点分类。图的研究内容之二:边的预测。CNN和GNN的区别。原创 2023-07-13 23:16:11 · 56 阅读 · 0 评论