Revisiting Temporal Modeling for Video-based Person ReID 时序特征深度网络建模

最新推荐文章于 2022-02-02 17:42:10 发布
最新推荐文章于 2022-02-02 17:42:10 发布
阅读量401 收藏
点赞数
分类专栏： yanzhen视频分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44523062/article/details/107580835
版权

Revisiting Temporal Modeling for Video-based Person ReID
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
图1：基于图像级特征提取器（通常是2dcnn）的三种时态建模架构（A: temporal pooling，B: RNN， C: temporal attention）。
对于RNN，使用最终隐藏状态或单元输出的平均值作为剪辑级表示；
对于时间注意，给出了两种类型的注意产生网络：“spatial conv + FC [12]” and “spatial conv + temporal conv"

AIchiNiurou
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文笔记：Revisiting Temporal Modeling for Video Super-resolution（重新审视视频超分辨率的时间建模） Part1 系咁嘅啦
Arsenal_ZHQ的博客
12-13 916
视频超分辨率在监控视频分析和超高清视频显示中起着重要的作用，在研究界和工业界都引起了广泛的关注。尽管已经提出了许多基于深度学习的VSR方法，但是由于不同的损失函数和训练数据集对超分辨率结果有重大影响，因此很难直接比较这些方法。在这项工作中，我们仔细研究和比较了三种时间建模方法（具有早期融合的2D CNN，具有缓慢融合的3D CNN和递归神经网络）来实现视频超分辨率。**==我们还提出了一种新颖的递归残差网络（RRN），以实现有效的视频超分辨率，其中利用残差学习来稳定RNN的训练并同时提高超分辨率性能。==
论文阅读 之 Revisiting Temporal Modeling for Video-based Person ReID
qq_39220334的博客
02-18 740
1. 论文研究的主要问题 一个典型的视频行人重识别系统通常包括三个部分：特征提取器，时域建模方法和损失函数。其中特征提取器用来采集图片级别的特征，时域建模方法用来融合时间特征。 基于视频的行人重识别方法和基于图片的行人重识别方法最大的区别在于时域信息，视频具有图片所没有的时域信息。目前有很多文章提出了时域建模的方法，那么什么样的时域建模方法是最有效的呢？这就是论文研究的主要问题。 下面给出文章及其代码实现的链接： 论文链接 代码链接 作者对论文的解读 2. 主要工作 文章的主要贡献如下： 回顾并比较用于视
视频超分：RRN（Revisiting Temporal Modeling for Video Super-resolution）
WangsyHebut的博客
10-12 4267
论文：用于视频超分的再审视时空模型 文章检索出处： 2020 BMVC
经典视频超分论文总结3
longshaonihaoa的博客
12-15 2947
本次写一写清华大佬Takashi Isobe的三个超分作品，大佬一年内，而且好像还是在华为实习期间连续中了三篇顶会，代码都开源在他自己的github中。 1、REVISITING TEMPORAL MODELING FOR VIDEO SUPER-RESOLUTION（RRN，BMCV2020） 本文其实很像上篇提到的FRVSR，也是采用RNN做超分，不同之处在于引入了残差结构 1.1 摘要 1）作者认为做超分因为loss不同，所以直接比结果是无效的。（这点确实，l2 loss会明显提高psnr计算结果，但
Video_based_ReID_02
qq_37747189的博客
03-28 534
基于视频的行人重识别-02 1.前言 这一节主要解释下数据的导入，模型的训练需要数据的支持，那么我们就需要对数据进行预处理以及数据的输入。 对于数据量比较少的时候，我们可以采用手动输入的形式，但当数据量较大时，这种方式就效率太低了。 我们需要使用 shuffle, 分割成mini-batch 等操作的时候，我们可以使用PyTorch的API快速地完成这些操作（Dataloader）。 DataLoader 是 torch 提供用来包装数据的工具，我们需要将自己的 (numpy array 或其他) 数据形
Duan_Revisiting_Skeleton-Based_Action_Recognition_CVPR_2022_paper.pdf
最新发布
10-23
Skeleton-Based Action Recognition 本论文主要关注Skeleton-Based Action Recognition领域，提出了一种新的方法PoseConv3D，旨在解决现有GCN-based方法在robustness、interoperability和scalability方面的限制。...
视觉表征无监督学习的对比方法再探讨_Revisiting Contrastive Methods for Unsupervise
02-09
论文"Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations"对这一领域进行了深入研究，探讨了现有方法在不同数据集上的表现，以及如何通过微调来提升表示学习的效果。 首先，作者...
ismir2018-revisiting-svd:重温歌唱语音检测
05-03
回顾歌唱语音检测：定量回顾和未来展望 此回购包含了在2018年第19届国际音乐信息检索会议（ISMIR）上由李庆云，崔景宇和Juhan Nam撰写的论文“重新审视歌声检测：定量审查和未来展望”的代码。[ ，] ...
Revisiting Ra-开源
04-26
【标题】"Revisiting Ra-开源"是一个与古老Macintosh游戏有关的开源项目，它重制了名为“Ra”的经典游戏，使玩家能够在现代计算机上体验到探索古代迷宫的冒险。开源软件的标签表明这个项目遵循开放源代码的原则，...
Revisiting optimal Delaunay triangulation for 3D graded mesh generation
02-08
Revisiting optimal Delaunay triangulation for 3D graded mesh generation
【论文笔记】Revisting Temporal Modeling for Video-based Person ReID
qq_37747189的博客
03-11 504
前言
Video-based-ReID_TP
qq_37747189的博客
03-13 441
前言 接下来，我们就来看看视频行人重识别训练模型的其中一种temporal aggregation method：temporal pooling。 这是比较简单的一种方式，效果也不错，是将通过CNN网络提取到的每一帧T图像特征根据seq_len，使用average pooling融合成每一个clips的特征。 模型输入 imgs imgs.size() = [b,s,c,h,w] 在训练级中 b为batch通常设置为32，seq_len设置为4，c为通道数为3，h图片高，w图片宽 模型初始化参数
（ECCV-2020）基于视频的行人重识别的外观保持三维卷积(一)
顾道长生的科研笔记
02-02 2362
基于视频的行人重识别的外观保持三维卷积 论文题目：Appearance-Preserving 3D Convolution for Video-based Person Re-identification paper是中科院计算所、中国科学院大学发表在ECCV2020的工作 论文地址：链接 Abstract 在基于视频的行人重识别（ReID）中，由于人的检测结果和姿态变化的不完善，时间外观错位是不可避免的。在这种情况下，3D卷积可能会破坏人物视频剪辑的外观表示，因此对ReID是有害的。为了解决这
【AAAI2019】【CVPR2018】最新 Video-based ReID 论文核心解读---附代码
SIGAI_CSDN的博客
01-07 3715
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 SIGAI特约作者 Fisher Yu@Oulu CV在读博士 研究方向：情感计算 最近看了两篇 Video-based 的 ReID 文章，做下笔记简单对比下： 第一篇CVPR2018 [1]：先对...
基于视频的行人再识别（5）----时间建模的基本方法
asuradayuci的博客
05-19 3687
如果觉得本文对您有所帮助的话，可以给我的github点个赞呀～本人有空会更新一些视频行人再识别的相关资料，比如代码注释、论文翻译等等。 github：https://github.com/AsuradaYuci/awesome_video_person_reid 1.Revisiting Temporal Modeling for Video-based Person ReID    本文以这篇1...
泛读论文：Person-reID 行人重识别合集
热门推荐
汪汪汪的博客
03-19 1万+
2017CVPR、ICCV和NIPS在Person Reidentification方向的相关工作小结 基于融合特征的行人再识别方法 模式识别与人工智能 2017.3 问题 目前常用的行人再识别方法主要集中在行人外形特征的描述和同一行人对应的 2 幅图像之间距离的学习度量．由于行人图像的亮度和相机角度的变化等，提取行人的外形特征的不变性较难，因此在各个图像库上行人再识别的识别率较低 ...
论文笔记5 --（ReID）Diversity Regularized Spatiotemporal Attention for Video-based Person Re-id
对角巷
12-20 2438
https://arxiv.org/pdf/1803.09882.pdf Abstract
Revisiting the VLAD image representation c++ 实现
07-16
VLAD（Vector of Locally Aggregated Descriptors）是一种图像表示方法，常用于图像检索和计算机视觉任务中。它通过聚合局部特征描述符来生成图像的紧凑表示。 以下是一个简单的C++实现示例，展示了如何实现VLAD图像表示： ```cpp #include <iostream> #include <vector> #include <opencv2/opencv.hpp> // 聚类算法（这里使用K-means） cv::Mat kmeansClustering(const std::vector<cv::Mat>& descriptors, int numClusters) { cv::Mat allDescriptors; for (const cv::Mat& descriptor : descriptors) { allDescriptors.push_back(descriptor); } cv::Mat labels, centers; cv::TermCriteria criteria(cv::TermCriteria::EPS + cv::TermCriteria::MAX_ITER, 100, 0.01); cv::kmeans(allDescriptors, numClusters, labels, criteria, 1, cv::KMEANS_PP_CENTERS, centers); return centers; } // 计算VLAD图像表示 cv::Mat computeVLAD(const std::vector<cv::Mat>& descriptors, const cv::Mat& visualWords) { int descriptorSize = descriptors[0].cols; cv::Mat vlad(visualWords.rows, descriptorSize, CV_32F, cv::Scalar(0)); for (const cv::Mat& descriptor : descriptors) { // 找到每个描述符最近的视觉词 cv::Mat difference = visualWords - descriptor; cv::Mat distances; cv::reduce(difference.mul(difference), distances, 1, cv::REDUCE_SUM); cv::Point minLoc; cv::minMaxLoc(distances, nullptr, nullptr, &minLoc); // 计算每个视觉词的残差 cv::Mat residual = descriptor - visualWords.row(minLoc.y); // 更新VLAD表示 for (int i = 0; i < descriptorSize; i++) { vlad.at<float>(minLoc.y, i) += residual.at<float>(0, i); } } // 归一化VLAD表示 cv::normalize(vlad, vlad, 1.0, 0.0, cv::NORM_L2); return vlad; } int main() { // 假设有一组局部特征描述符（使用OpenCV的Mat表示） std::vector<cv::Mat> descriptors = { (cv::Mat_<float>(1, 128) << /* descriptor values */ ), (cv::Mat_<float>(1, 128) << /* descriptor values */ ), (cv::Mat_<float>(1, 128) << /* descriptor values */ ), // ... }; // 聚类算法，得到视觉词汇 int numClusters = 100; cv::Mat visualWords = kmeansClustering(descriptors, numClusters); // 计算VLAD图像表示 cv::Mat vlad = computeVLAD(descriptors, visualWords); // 输出VLAD表示结果 std::cout << "VLAD Representation:\n" << vlad << std::endl; return 0; } ``` 在这个示例中，`descriptors`是一组局部特征描述符，每个描述符用一个`cv::Mat`对象表示。首先，使用K-means聚类算法将所有描述符聚类成`numClusters`个视觉词汇，并得到`visualWords`矩阵。然后，根据每个描述符找到最近的视觉词，并计算每个视觉词的残差。将残差累加到VLAD表示中，并进行归一化处理。最后，输出VLAD图像表示结果。 请注意，这只是一个简单的VLAD图像表示的C++实现示例，供你参考。在实际应用中，你可能需要根据具体需求进行修改和扩展，例如使用更复杂的特征提取方法、改进聚类算法等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值