点PY
If you cannot risk, you cannot grow. If you cannot grow, you cannot become you best. If you cannot become you best, you cannot be happy. If you cannot be happy, what else matters?
展开
-
使用yoloPose进行单目行人距离估计
YOLOv8 是由 Ultralytics 开发的最新版本的 YOLO(You Only Look Once)系列模型,以其速度和准确度著称。YOLOv8-pose 结合了对象检测与关键点检测的能力,能够在图像和视频中准确地检测和定位人体的关节点(如头部、肩膀、肘部、膝盖等),从而推断出人体的姿态。找出肩膀和髋关节的关键点,肩膀到髋关节的距离假设为0.5m,并计算其在像素空间上的欧式距离,结合焦距F便可估计出距离。原创 2024-09-05 14:14:00 · 230 阅读 · 0 评论 -
SORT复现(python)
通过结合目标检测和目标跟踪,可以实现对动态场景中目标物体的实时定位和跟踪,为许多实际应用提供了重要的支持。目标跟踪:根据目标匹配的结果,进行目标跟踪。然后,通过比较目标的特征向量来匹配目标,在不同帧之间建立目标的对应关系。目标特征提取:在检测到目标之后,对目标物体进行特征提取,一般会使用卷积神经网络(CNN)来提取目标的特征向量。更新目标模型:在跟踪过程中,随着目标物体的运动和外观变化,可能需要根据新的检测结果和跟踪信息来更新目标的模型和特征描述,以提高跟踪的准确性和稳定性。首先查找该动态库文件地址。原创 2024-08-05 14:46:15 · 512 阅读 · 0 评论 -
马铃薯杂草检测模型部署
马铃薯杂草检测原创 2024-07-22 10:55:45 · 220 阅读 · 0 评论 -
基于SAM的零样本相似性评价方法
图像转换具有广泛的应用,如风格转换和模态转换,通常是生成具有高度真实和忠实的图像。这些问题仍然很困难,特别是在保存语义结构很重要的时候。传统的图像级相似性度量的用途有限,因为图像的语义是高级的,并且不受对原始图像的像素级忠实度的严格控制。为了填补这一空白,我们引入了SAMScore,这是一种通用的语义结构相似性度量,用于评估图像翻译模型的忠实度。SAMScore是基于最近的高性能段任意事物模型(SAM),该模型可以以突出的准确性进行语义相似性比较。原创 2024-07-10 15:15:12 · 549 阅读 · 0 评论 -
目标跟踪中的数据关联
基于特征余弦相似度的数据关联是一种在目标跟踪和多目标检测中广泛应用的方法,特别适用于外观特征(如颜色、纹理、深度特征等)稳定且区分度高的场景。基于IOU(Intersection over Union)的数据关联是一种在目标跟踪中特别常见的方法,主要用于视频目标跟踪和多目标检测的后处理阶段。目标跟踪中的数据关联是指在多目标跟踪任务中,将传感器在不同时间点获取的观测数据正确地分配给各个目标的过程。新目标的识别和旧目标的丢失:需要识别出新出现的目标,并判断是否有目标消失或被遮挡。原创 2024-07-02 10:51:02 · 157 阅读 · 0 评论 -
葡萄串目标检测YoloV8——从Pytorch模型训练到C++部署
用labelimg进行数据标注。原创 2024-06-28 15:59:43 · 516 阅读 · 0 评论 -
基于欧式距离的匈牙利匹配跟踪器(C++)
基于欧式距离的匈牙利匹配跟踪器是一种在目标跟踪领域常用的算法。它通常用于解决多目标跟踪中的匹配问题,其中需要将当前帧中的检测目标与上一帧中已知的目标进行匹配。算法步骤大致如下:特征提取:对检测到的目标和已知的目标进行特征提取,通常使用目标的位置信息或其他特征向量表示目标。计算距离矩阵:使用欧式距离或其他距离度量方法计算每个检测目标与每个已知目标之间的距离,得到一个距离矩阵。匈牙利匹配:通过解决最小权重匹配问题来确定最佳的匹配方案。原创 2024-06-20 16:49:46 · 106 阅读 · 0 评论 -
匈牙利匹配算法的例子
匈牙利匹配算法,也称为匈牙利算法或Kuhn-Munkres算法,是一种用于解决二分图中的最大权匹配或最小权匹配问题的多项式时间算法。二分图匹配问题二分图:一个图,其中顶点集可以分为两个不相交的子集,使得每条边连接的顶点分别来自不同的子集。匹配:在图中找到一组边,使得每个顶点至多属于一条边。最大权匹配:在权重图中找到一个匹配,使得所选边的权重和最大。最小权匹配:在权重图中找到一个匹配,使得所选边的权重和最小。匈牙利算法是一种用于解决上述匹配问题的有效算法,特别是在二分图中。它的时间复杂度是O。原创 2024-06-18 14:21:45 · 242 阅读 · 0 评论 -
基于深度图像的无监督目标跟踪
大致的步骤。原创 2024-06-11 19:32:07 · 219 阅读 · 0 评论 -
在点云地图中进行点云计数
在激光SLAM(Simultaneous Localization and Mapping)中,局部点云地图是通过激光雷达扫描捕捉到的周围环境的局部三维点集合。统计局部点云地图中的所有点数目是一个常见的需求,这可以帮助我们了解数据的密集程度、有效性等。为了统计局部点云地图中的点数,我们可以按照以下步骤进行。原创 2024-06-04 19:09:19 · 92 阅读 · 0 评论 -
在热力图基础上寻找所有峰值位置
热力图通常是二维的,其中每个像素的颜色表示该位置的数值大小。较亮的颜色通常表示较高的数值,而较暗的颜色表示较低的数值。寻找局部极值点:使用图像处理技术,如在前面提到的方法中,例如在二值图像中找到局部极值点的方法,来找到热力图中的局部峰值位置。这可能涉及到使用滤波器、阈值化、形态学处理等技术。分析和后处理:对于找到的峰值位置,可以进行进一步的分析或后处理,例如计算每个峰值的具体坐标、提取峰值的强度等。标记峰值位置:一旦找到了峰值位置,可以根据需要在热力图上将这些位置标记出来,以便进行可视化或进一步分析。原创 2024-05-29 21:00:21 · 255 阅读 · 1 评论 -
在三维点云中检测点云数量
【代码】在三维点云中检测点云数量。原创 2024-05-17 10:08:02 · 80 阅读 · 0 评论 -
基于lidar的多目标跟踪
【代码】基于lidar的多目标跟踪。原创 2024-05-14 16:15:06 · 90 阅读 · 0 评论 -
葡萄串数据采集计划
1 葡萄串之间稀疏放置,间距至少30cm;2 为防止机械臂触顶碰到铁丝网,葡萄串裸露的果梗要长,尽量保持在10cm左右;3 藤叶不能遮挡住葡萄串,影响视觉识别;4 土地平整,坡度小于10°,使得采摘车能在一个近似水平状态下进行采摘作业。原创 2024-05-11 08:56:50 · 88 阅读 · 0 评论 -
ST-GCN论文简读以及复现
code: https://github.com/yysijie/st-gcn文章目录普通卷积与图卷积普通卷积图卷积数据输入数据结构数据预处理图划分策略网络结构复现普通卷积与图卷积普通卷积在理解图卷积之前,需要认识一下传统的卷积。对于一个3×3的卷积操作而言,相当于把3×3的卷积核在图像上滑动。每一次会有对应的9个数字相乘之后相加,然后得到一个最终的值。在这里,换一个角度来看,图像上的每一个数字都是一个特征,而卷积的操作,是以一个像素点为中心,将其周围的8个点连同它自己的特征加权(卷积核的值)后.原创 2021-10-14 09:01:57 · 3376 阅读 · 3 评论 -
车道检测(传统方法)
项目地址:https://github.com/georgesung/advanced_lane_detection文章目录技术路线相机校准车道检测流程图像不失真阈值二值图像透视变换多项式拟合曲率半径车辆偏离车道中心用车道区域注释原始图像讨论技术路线检测车道线使用计算机视觉技巧车道线检测步骤如下:给定一组棋盘图像,计算相机校准矩阵和失真系数。对原始图像应用失真校正。使用颜色变换、渐变等来创建阈值二值图像。应用透视变换来校正二值图像(“鸟瞰图”)检测车道像素并拟合以找到车道边界。确定车道原创 2021-08-05 16:52:37 · 3076 阅读 · 0 评论 -
YOLOP复现
修改96行,121行_C.TRAIN.BATCH_SIZE_PER_GPU 为合适大小。BDD100K的mini版本,并且按照官方repo里的要求进行排版。根据注释修改53-56行路径(自定义数据集,包括影像和各类标签)在./lib/config/default.py中修改相关参数。利用docker 快速建立本机上的环境。修改第九行_C.WORKERS = 0。...原创 2022-08-16 11:42:09 · 671 阅读 · 0 评论 -
Hough Transform Tutorial
霍夫变换介绍原创 2022-09-28 17:19:18 · 1021 阅读 · 0 评论 -
利用霍夫变换进行车道线检测
基于霍夫变换的车道线检测原创 2022-09-28 17:36:24 · 2436 阅读 · 1 评论 -
将深度图转成2D激光
将深度图转换为2D激光扫描数据是一个在机器人和自动化领域常见的任务,尤其是在计算资源有限的情况下或当只需要2D数据时。这个过程通常涉及从深度图中选择一个水平切片(或多个切片)并将其转换为距离读数。原创 2024-03-22 15:00:07 · 112 阅读 · 0 评论 -
跟随机器人方法总结
将提出的算法在OTB100公开测试集和机器人应用场景下的跟随测试集中进行评估,并在移动机器人平台上进行实验,结果表明,机器人可以在不同照明条件、背景行人较多的环境中跟随目标,验证了所提算法的稳健性和有效性,同时可满足实时性要求。在实际应用中,相机会拍摄到包含 AR Tag 的图像,然后通过计算机视觉算法提取图像中的特征点,并与AR Tag 的编码信息进行匹配,从而确定 AR Tag 的位置和方向信息。当目标与履带车之间的距离大于 d 的时候,履带车会跟随目标走,并始终使目标保持在摄像头视野中心的。原创 2024-03-04 11:28:02 · 270 阅读 · 0 评论 -
利用深度相机进行停障
使用深度相机进行障碍物检测(通常称为障碍物避让或停障,英文为"obstacle avoidance")是一个涉及多步骤的过程,包括对深度数据的捕获、处理、障碍物检测、决策制定和执行避让动作。例如,如果你使用的是Microsoft Kinect、Intel RealSense或者其他类似设备,它们都有自己的SDK来帮助你获取深度图像。例如,你可以检查深度图中的某些区域是否超过了预设的距离阈值,这表明这些区域可能包含障碍物。获取深度数据后,通常需要进行某种形式的预处理,以便于检测和分析。原创 2024-02-23 14:41:38 · 488 阅读 · 0 评论 -
基于人体姿态的目标追踪实现
【代码】基于人体姿态的目标追踪实现。原创 2024-01-30 19:12:18 · 164 阅读 · 0 评论 -
简单、在线、实时的多目标跟踪实现(C++)
【代码】简单、在线、实时的多目标跟踪实现(C++)原创 2024-01-29 14:10:53 · 205 阅读 · 0 评论 -
知识迁移加持下的自监督学习
随着人力成本的持续上涨和劳动力短缺,自动化苹果采摘装备成为农业领域的迫切需求。在苹果被自动化采摘前,苹果采摘装备不仅要能够准确定位苹果,更要对果实的可抓取性作出准确识别。目前对于苹果单一性检测上的研究较多,但关于遮挡下的苹果可抓取性的识别仍是一个待解决的技术难题。本研究提出了一种基于YOLOv5s网络模型改进的的多类型苹果遮挡检测方法,专门用用于在复杂果园环境中识别各种遮挡下的苹果,并据此判断其可抓取性。采用自监督学习和知识迁移策略,可以有效地减少对标注数据的需求,降低数据制作成本。原创 2023-12-15 22:30:27 · 529 阅读 · 0 评论 -
基于葡萄串的采摘点定位方法
基于上步获取的葡萄串的实例掩膜,在横向堆叠,获取第一次超过一粒葡萄的大小深度index,在竖向堆叠,获取峰值,组成采摘点像素坐标。利用上步骤获取的检测框,对深度图进行裁剪,在检测框内部应用基于种子的区域生长方法,来获取葡萄串的实例掩膜。这里默认你已经成功训练了YOLO模型,不再对此进行描述。YOLO模型的推理效果是下面这样子的。你需要将模型参数转化为ONNX格式,便于ONNXRUNTIME进行推理加速。这里将介绍如何用图像识别方法来定位葡萄串采摘点,用于机器人自动采摘操作。2、基于深度图的区域种子生长。原创 2023-11-05 16:30:12 · 432 阅读 · 0 评论 -
基于PP-TinyPose的姿态识别
利用人体姿态识别技术PP-TinyPose,获取人体关键点,判断手肘与肩膀的相对位置,来确定是否举手。下图为举手以后,生成黄色框。ps:注意opencv的安装路径,每个人不一样。fastdeploy 源码编译。在~/.bashrc中进行声明。原创 2023-10-10 08:37:43 · 296 阅读 · 2 评论 -
大模型——MobileSAM的Onnxruntime cpp部署
该项目旨在为Segment Anything和MobileSAM创建一个纯 C++ 推理 api ,在运行时不依赖于 Python。代码存储库包含一个带有测试程序的 C++ 库,以便于将接口轻松集成到其他项目中。模型加载大约需要 10 或 1 秒,单次推理大约需要 20 毫秒,使用 Intel Xeon W-2145 CPU(16 线程)获得。在运行时,如果在 CPU 上运行,该接口可能消耗大约 6GB 或 1GB 内存,如果在 CUDA 上运行,则可能消耗 16GB 或 1GB 内存。原创 2023-09-11 14:51:33 · 1534 阅读 · 16 评论 -
用P2PNet进行大豆计数
这个仓库包含了P2PNet(Rethinking Counting and Localization in Crowds: A Purely Point-Based Framework)在大豆数据集上的pytorch实现。原创 2023-08-07 20:04:49 · 753 阅读 · 0 评论 -
Yolo模块排列组合
全图像依赖关系提供了有用的上下文信息,以有利于视觉理解问题。在这项工作中,我们提出了一个交叉网络(CCNet),以更有效的方式获取这种上下文信息。具体地说,CCNet中的一个新的交叉注意模块获取其交叉路径上所有像素的上下文信息。通过进一步的循环操作,每个像素最终可以从所有像素中捕获全图像依赖性。总的来说,CCNet有以下优点: 1) GPU内存友好。与非局部块相比,所提出的周期性交叉注意模块需要的GPU内存使用减少11×。2)计算效率高。在计算全图像依赖关系时,周期性的交叉注意显著减少了约85%的非局部块。原创 2023-06-19 20:50:45 · 192 阅读 · 0 评论 -
对YoloV8进行自监督训练以及finetuning
为了增强模型的鲁棒性和识别精度,从视觉表征方面出发,通过自监督手段,来达到目的。爬取你的目标类别图片,越多越好。原创 2023-05-23 17:09:25 · 1195 阅读 · 4 评论 -
基于Segment anything的实例分割半自动标注
使用Meta AI的SAM,并添加了一个基本界面来标记图像,并保存COCO格式的掩码。原创 2023-04-17 17:32:30 · 3868 阅读 · 3 评论 -
基于轻量化openpose的葡萄串姿态估计
葡萄串的姿态估计可用于指导机械臂末端执行器夹爪张开的角度,对于精准作业有着重要意义。原创 2023-03-16 19:36:13 · 387 阅读 · 0 评论 -
对YoloV5的backbone进行self-supervised learning以及fine-tuning
当你的数据集存在标注数据占比较小,无标注数据占大头的时候,可以考虑下自监督学习来提高主干网络的视觉表征能力,有关自监督学习的论文可以参考这篇。这里的自监督学习来源于开源repo——lightly-ai。将YoloV5的backbone写成一个图像分类网络。修改模型加载方式,加载自监督学习后的主干参数。修改模型加载方式,加载预训练后的模型参数。修改参数 freeze 设置为10。在train.py中修改两处地方。修改参数 freeze 设置为0。在train.py中修改两处地方。原创 2022-12-12 22:07:19 · 1677 阅读 · 14 评论 -
Backbone自监督预训练
自监督学习原创 2022-07-12 17:20:01 · 927 阅读 · 8 评论 -
超大尺寸图像的深度学习模型预测方法
文章目录小尺寸图像输入大尺寸图像输入小尺寸图像输入一般的图像无需裁剪,便可输入模型,进行端到端的训练。它的预测过程也是比较简单的,以二分类为例,将模型输出的概率图通过一定的方法转化为二值图。有两种方法可实现上述过程,其一,若类别数包括背景类,利用argmax输出各维度相同位置处最大值,其二,若类别数不包括背景类,则利用sigmoid压缩其值至0-1之间,利用阈值法,一般为0.5,大于0.5为正类,小于0.5为背景类。net = torch.load('./model.pth', map_locatio原创 2020-06-16 16:05:26 · 4024 阅读 · 7 评论 -
在显著性检测上应用pointrend进行边缘细化
文章目录1 概要2 编解码网络3 不确定点的采样4 点级特征5 PointRend6 相关代码6.1 基础编解码网络6.2 pointRend6.3 不确定点的选择1 概要随着遥感技术的发展,大量的高空间分辨率(HSR)图像可以获得,这使得精细的土地覆盖测绘成为可能。然而,HSR图像中的地面物体的细节是复杂的,特别是在边缘,因此给遥感分类带来了新的挑战。现有的深度学习方法将其视为一种基于完全卷积网络(FCN)的语义分割任务,而不考虑复杂的细节识别。在本篇博文中,通过使用pointrend来解决这个问题.原创 2022-05-29 09:54:55 · 516 阅读 · 4 评论 -
基于COANet的遥感道路提取
1. 数据准备1.1 原始数据格式标签为二值图,后缀为png- ${your data root} -- train_images --- xxx.tif --- xxx.tif ... -- train_labels --- xxx.png --- xxx.png ...train_imagestrain_labels1.2 生成connect标签cd ${your project root}/dataGeneratorspython create_co.原创 2022-05-26 09:26:05 · 1430 阅读 · 14 评论 -
动物行为估计
文章目录1 动物姿态估计1.1 labelme 绘制样本1.2 数据集准备1.3 模型训练(训练自己的数据集)1.4 模型推理2 动物行为识别2.1 数据准备2.2 利用姿态估计模型获取时序骨架列表2.3 模型训练(训练自己的数据集)2.4 模型推理1 动物姿态估计本节主要利用当前流行的姿态估计模型,对图片中的小鼠进行实时的骨架提取。1.1 labelme 绘制样本参考这篇博文,基于Labelme的动物骨架绘制1.2 数据集准备为了加快数据读取的效率,将json写入PKL文件prepare_t原创 2022-04-18 10:59:04 · 3644 阅读 · 12 评论 -
动物姿态估计
文章目录安装deeplabcut样本选取样本标注模型训练模型推理安装deeplabcut参考这篇博文运行下列代码import deeplabcutdeeplabcut.launch_dlc()进入操作界面样本选取基于kmeans的自动抽帧样本标注自定义身体部分以及关联模型训练选取合适的骨架网络,训练次数模型推理...原创 2022-04-07 16:25:49 · 954 阅读 · 0 评论