樱花的浪漫
梦想还是要有的,更要成为一名不懈追求梦想的人
展开
-
基于拓扑图的行人重识别项目实战——Learning Relation and Topology for Occluded Person Re-Identification
第三阶段依然是行人重识别的匹配问题,不过这里使用的是图匹配,为什么不使用其他行人重识别的距离匹配呢?因为会引入遮挡部分的特征。图匹配构建了一个相似度矩阵,相似度匹配能够很好的控制匹配的过程,筛选掉遮挡部分的特征,在匹配的流程中,依旧会构建AP和AN并使用三元组损失,同时,这里还加了一个验证损失。原创 2024-04-11 15:05:05 · 608 阅读 · 0 评论 -
旷视研究院行人重识别(ReID)算法解读——Learning Relation and Topology for Occluded Person Re-Identification
在遮挡的场景下,关键点的匹配往往具有比较多的问题,比如一个人在不同的图片中遮挡的部位很可能是不同的,很显然,在遮挡部位的关键点是匹配不上的,因此,这篇研究提出了基于图匹配的方式来处理这种问题,即我们可以得到一个矩阵去控制关键点的匹配,处理遮挡部位的关键点。如下图所示,左侧为普通的卷积,普通卷积使用卷积核在图像上滑动进行特征提取,而右侧为图卷积,图卷积能够动态的学习图的邻接矩阵,从而得到图的实际网络拓扑结构。这相当于是提供了先验信息,首先可以使用姿态估计等方法得到人的关键点信息,用关键点的特征进行匹配。原创 2024-04-10 20:03:43 · 84 阅读 · 0 评论 -
论文精读:FairMOT: On the Fairness of Detection and Re-Identification in MultipleObject Tracking
1.提出背景以往的工作通常将re-ID视为次要任务,其准确性受到主要检测任务的严重影响。因此,网络偏向于主检测任务,这对re-ID任务不公平。2. 核心思想将MOT表示为单个网络中目标检测和reid的多任务学习,因为它允许两个任务的联合优化,并且具有较高的计算效率。然而,我们发现这两个任务倾向于相互竞争,这需要仔细处理。特别是,以往的工作通常将re-ID视为次要任务,其准确性受到主要检测任务的严重影响。因此,网络偏向于主检测任务,这对re-ID任务不公平。为了解决这个问题,我们提出了一种基于无锚原创 2022-05-19 20:55:12 · 1989 阅读 · 1 评论 -
论文精读:D3S:D3S – A Discriminative Single Shot Segmentation Tracker
基于模板的判别跟踪器由于其鲁棒性,是目前主要的跟踪范式,但仅限于边界框跟踪和有限范围的转换模型,这降低了其定位精度。我们提出了一种鉴别的单镜头分割跟踪器d3s,它缩小了视觉目标跟踪和视频目标分割之间的差距。单热网络采用两个具有互补几何性质的目标模型,一个对广泛的变换不变,包括非刚性变形,另一个假设刚性对象同时实现高鲁棒性和在线目标分割。在没有对每个数据集进行微调和只进行分割训练作为主要输出的情况下,D3S在VOT2016、VOT2018和GOT-10k基准测试上优于所有跟踪器,并且性能接近跟踪网上最先进的跟原创 2022-06-01 20:36:43 · 546 阅读 · 0 评论 -
AAAI顶会行人重识别算法源码解读——Relation Network for Person Re-identification
在这里我们使用的是清华大学的行人重识别数据集market1501。数据集的目录如下,images文件夹下是所有的行人图片。poses文件夹下是姿态估计的标签文件(有行人重识别的研究首先进行姿态估计,然后再获得行人的特征表示)。meta.json文件夹下是存放的每个人在6组摄像头的图片。splits文件夹下是数据集的划分方式。json在构建数据集dataloader时需要使用image文件夹下,图片的命名规则如下,如00000000_0001_00000011。原创 2023-03-19 23:27:57 · 1081 阅读 · 1 评论 -
AAAI顶会行人重识别算法详解——Relation Network for Person Re-identification
以往行人重识别相关工作表明,利用描述身体部位的局部特征,以及一个人的图像本身的全局特征,可以提供健壮的特征表示,即使是在缺失的身体部位的情况下。原创 2023-03-05 11:32:00 · 2281 阅读 · 0 评论 -
基于Attention的行人重识别项目实战--Relation-Aware Global Attention for Person Re-identification
在项目环境上,只需要我们装好pytorch即可,数据集推荐使用港中文大学数据集,刚开始下载的文件只有release文件夹,里面只有一个.Mat文件夹,我们需要从中提取出所有的信息。detected文件夹和labeled文件夹是两种信息,一种是通过目标检测算法检测出的行人数据,一个是人工标注的。数据通过6组摄像头获得,每个人有10张图片,通过一对摄像头获得,它的命名规则是最前面的1表示摄像头id,001表示这是第几个人。后面1表示这是这对摄像头id。再后面的01表示这个人的10张图片的序号。原创 2023-03-01 22:44:09 · 1064 阅读 · 1 评论 -
基于注意力机制的行人重识别(Reld)模型论文解读----Relation-Aware Global Attention for Person Re-identification
任务概述:在多摄像头的复杂场景中,快速定位查找指定目标的所有结果。原创 2023-02-26 11:18:14 · 1228 阅读 · 0 评论 -
deepsort源码详解
由于我们需要使用yolov5/yolov8获得人的检测框,因此,环境与yolov5的环境保持一致即可。YOLOv5/yolo v8的权重时单独训练的,通过参数进行指定:yolov8m.pt...ReID特征为行人重识别任务,用于deepsort的级联匹配中,也需要提前训练好,通过进行指定:...还可以指定追踪的对象,YOLO预训练权重是在coco数据集上进行训练,可以指定coco数据集的类别,也可以自己在另外的数据集上进行训练,并指定类别可以指定格式进行追踪,支持图片视频等。原创 2023-01-18 13:44:00 · 1600 阅读 · 0 评论 -
Deepsort核心思想与论文解读
1.核心思想在本文中,我们整合了外观信息来提高SORT的性能。由于这种扩展,我们能够通过更长的遮挡周期来跟踪对象,有效地减少了身份开关的数量。2.主要内容ABSTRACT简单的在线和实时跟踪(SORT)是一种实用的多目标跟踪方法,重点关注简单、有效的算法。在本文中,我们整合了外观信息来提高SORT的性能。由于这种扩展,我们能够通过更长的遮挡周期来跟踪对象,有效地减少了身份开关的数量。本着原始框架的精神,我们将大部分的计算复杂性放在一个离线的训练前阶段,在那里我们在一个大规模的...原创 2022-05-20 00:01:50 · 2082 阅读 · 0 评论 -
Openpose算法源码分析
然后将关键点热图和PAF向量拼接,输入下一个stage,分别使用卷积进行特征提取,输出关键点热图和PAF向量,拼接后输入下一阶段。由于需要计算肢体每个点在肢体方向投影的积分,因此,需要计算定积分,需要进行编译操作。使用向量叉乘根据阈值选择肢体的区域,任何向量与单位向量的叉乘即为四边形的面积,当点位于肢体区域时,平行四边形。基于此,选择肢体的区域。由于网络输出的是关键点的热度图和PAF亲和度图,因此,需要为此制作标签。构建肢体的可能区域,即以两个关键点为顶点的一个矩阵,区域内所有点的方向与肢体方向相同。原创 2023-01-13 23:39:42 · 1759 阅读 · 0 评论 -
二部图和匈牙利算法
设G为二分图,若在G的子图M中,任意两条边都没有公共节点,那么称M为二分图G的一组匹配。在二分图中,包含边数最多的一组匹配称为二分图的最大匹配。交替路:从一个未匹配点出发,依次经过非匹配边、匹配边、非匹配边…形成的路径叫交替路。增广路:从一个未匹配点出发,走交替路,若能到达另一个未匹配点,则这条交替路称为增广路。例如,3一5→1→4→2—7观察增广路,我们会发现:非匹配边比匹配边多一条。只要把增广路中的匹配边和非匹配边的身份交换(即倒过来走),交换后,图中的匹配边数目比原来多了1条。原创 2023-01-12 22:57:23 · 758 阅读 · 0 评论 -
openpose:Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields ∗
姿态估计任务首先需要检测出人体的各个关键点,将人体关键点进行拼接。任务的困难有,首先,对于关键点检测任务,需要处理遮挡的问题,在拼接的过程中,需要处理多人的情况,即不能将不同人的关键点进行拼接。原创 2023-01-12 14:50:35 · 2175 阅读 · 0 评论 -
RPM-Net源码详解
数据读取需要构建sourse点云数据和经过变换的reference点云数据。原创 2023-01-06 15:34:30 · 1538 阅读 · 1 评论 -
论文精读:RPM-Net: Robust Point Matching using Learned Features
论文地址:https://arxiv.org/pdf/2003.13479.pdf点云配准可以当做一个基础的上游任务,根据从不同视角下获取的点云数据配准为完整的点云数据,下游任务众多基本任务:求一个变换矩阵,使得两个具有未知点的点云数据重合。刚性与非刚性:刚性配准:旋转和平移操作(通常不改变大小)非刚性配准:还包括了缩放和裁剪等操作 RPM-Net的基本思想:使用神经网络实现需要手工设计的参数和迭代 训练数据: ICP分两步迭代解决刚性点云配准问题,(1)对空间最近点对应进行硬赋值,然后(2)找原创 2023-01-05 22:53:15 · 1648 阅读 · 0 评论 -
PF-Net源码详解
参数配置使用默认参数即可,但是windows操作系统下,需要将--workers设置为0.原创 2023-01-05 14:35:36 · 1951 阅读 · 10 评论 -
论文精读:PF-Net: Point Fractal Network for 3D Point Cloud Completion
点云补全:由于扫描或者距离的原因导致点云局部缺失,对其进行补全 核心思想:首先重构其骨架,然后重构其细节特征 损失函数:损失函数由两部分组成,第一部分为预测与真实的损失,用距离衡量,包括预测点最近的真实点的距离和真实点到最近的预测点的距离。 第二部分为判别器的损失,与GAN一致 现有的点云生成网络由于生成完整的点云,总是会改变已有的点,从而造成噪声和误差,因此PF-Net只生成缺失的点云,此外,F-Net利用基于特征点的多尺度生成网络预测缺失的点云。同时,在损失函数中,包含多阶段生成的损失原创 2023-01-04 21:19:47 · 1154 阅读 · 3 评论 -
PointNet++源码详解
分类任务的整体流程为,首先类似于卷积,堆叠多层PointNet++进行局部特征提取,需要注意的是,在最后一层pointnet++中,只分为一组,以获得全局特征,输出层由全连接层,最后使用softmax进行归一化。根据中心点按照多个半径得到子集簇,多个半径是实现多尺度特征融合的方式之一,另外,不同的半径选取的簇中,的点的个数也不同,例如半径为0.1,k=16,半径为0.2,k=32。然后进行上采样,对于第一次上采样,此时只有一个点,直接进行复制,其他的按照距离的远近生成权重参数,进行插值。原创 2023-01-04 13:19:05 · 1764 阅读 · 0 评论 -
论文精读:PointNet++: Deep Hierarchical Feature Learning onPoint Sets in a Metric Space
另外,有一个细节,作者将采样的点的个数做了固定,比如说每个簇选取周围的16个点,那么在稀疏的地方,就有可能不足16个点,这时,将最近的点进行复制后补齐。在密集的地方,可能多于16个点,这时,只保留最近的16个点。PointNet没有考虑到点云的局部结构,因此,作者引入了一个分层的神经网络,它能够将点云划分为一个个子集,并提取局部特征,针对点云密度不均匀的问题,作者提出了多尺度策略。第二步,分组,即提取各个簇的局部特征,每个簇选取多种半径,多个样本点进行局部特征提取,最后将不同半径的局部特征进行融合。原创 2023-01-03 18:08:05 · 718 阅读 · 0 评论 -
论文精读:PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation
无序性:只是点而已,排列顺序不影响近密远疏的特性:扫描与视角不同导致非结构化数据,直接CNN有点难要解决的任务就是如何对点云数据进行特征提取。原创 2023-01-02 16:30:48 · 650 阅读 · 0 评论