OpenMMLab-AI实战营第二期
文章平均质量分 94
记录OpenMMLab-AI实战营第二期的学习,重点是mmcv系列的入门学习使用。
相应的Github链接位于:https://github.com/CastleDream/openMMLabCampusLearn
吨吨不打野
不要慌,不要慌,太阳落下有月光
展开
-
MMSegmentation——流程化使用
有两种方式可以自定义数据类,第一种,就是文件形式,另外一种就是直接下载要运行的代码里,下面会说。OpenMMLab-AI实战营第二期——5-2. MMSegmentation代码课的**1.1 持久化运行(用文件定义)**部分个人更推荐这种使用方式,不需要去在文件夹里改文件,比较方便。但是如果长时间操作一个数据集,那还是把它写成文件的形式比较好。OpenMMLab-AI实战营第二期——5-2. MMSegmentation代码课的1.2 运行时生效(直接运行时定义一个class)部分。原创 2024-05-23 09:19:13 · 1194 阅读 · 0 评论 -
OpenMMLab【超级视客营】——支持InverseForm Loss(MMSegmentation的第三个PR)
直接用vscode登录,打开文件夹,或者用MobaXTerm等你习惯的终端连接软件去ssh连接,输入密码就行(默认用户名已经@在了ssh命令中,你只需要输入你上面创建的密码的值即可)2021年论文刚发布的时候很多issue是回复了,后面的就没有什么回复了。这次写注释的时候,唯一的一个异常,就是某行超过72个字符的时候,把。,微信扫码登录,在微信的页面里填写邮件里给的用户和密码。提交PR在测试的时候,第一次遇到构建文档报错。配置好之后,复制下面给的ssh命令,该有的基本都有,还算比较全,原创 2023-10-04 23:20:09 · 520 阅读 · 0 评论 -
OpenMMLab【超级视客营】——把类别信息加入可视化结果中(MMSegmentation的第二个PR)
第一次提交PR的时候没有看到这些帮助文档,其实很多同类型的PR,比如:支持新的数据集,支持单元测试等,是有一些现成的范例了,这里对怎么提交PR,代码格式那些的都有很好的指引。这个任务一开始属于MMSIG,后来又变成超级视课营了,就很曲折。但是没法获取ax的image,把带有annotate的imshow结果作为image进行传递。反正mmcv和torch强相关,最好不要走wheel去安装,直接编译吧,这个mmcv经常出问题。可以看看之前可视化相关的PR会进行哪些改动,就知道从哪里开始下手,修改代码了。原创 2023-08-03 09:00:45 · 634 阅读 · 0 评论 -
OpenMMLab——BDD100K数据集(MMSegmentation的第一个PR)
包含一些可视化和评估的脚本数据集官方介绍博客:伯克利发布BDD100K:目前最大规模开放驾驶视频数据集基于BDD100K的竞赛:报错代码是抛出的。简单来说,就是要把你要添加的模块加到系统路径里,要在pspnet.py中引入bdd100k.py添加的系统路径应该是import sys。原创 2023-07-14 14:31:37 · 2618 阅读 · 11 评论 -
OpenMMLab-AI实战营第二期——相关3. RGB语义分割标注图像转为Gray格式的mask
除了红色和黑色,显示为白色和黄色的其实就是刚刚出现频率比较低的那三种颜色值,可以看出来,是花的边缘(与背景挨着的地方)。常规的软件打开这种灰度图是什么都看不见的,即便是matplotlib这种程序读图,如果不设置合适的cmap,也看不到东西。:大致可以看到,给出的原始标记图像是RGB格式的,三通道。将原图转为灰度图,构建映射词典,查看灰度图的语义mask。可以看到,上面是77和78,下面是76和78。,其他3种颜色其实是边缘,这在之后可以看到。在opencv3.0中,对同一图像处理,结果不同。原创 2023-06-29 17:13:35 · 582 阅读 · 0 评论 -
OpenMMLab-AI实战营第二期——相关1. COCO数据集格式和pycocotools使用(目标检测方向)
图像分割上下文识别超像素分割33w图像,其中有标记的超过20w150w目标实例,标注的不错,下图左上角的那些标签是可以点击的,会和下面的图像有交互效果。91个物体类别:除了上面那确定对象的80个类别,还有天空、海洋等一些别的,不是目标检测类别,是全景分割等需要的内容。每张图像5个情景描述,如上图有25w人的关键点标注其实就是个对json格式进行解析的库,就三个.py脚本,不要和protobuf这个库搞混了,名字有一丢丢像(我之前以为这个库很难,就是和这个搞混了)原创 2023-06-22 22:32:43 · 1496 阅读 · 0 评论 -
OpenMMLab-AI实战营第二期——5-2. MMSegmentation代码课
视频链接:原创 2023-06-18 19:37:50 · 562 阅读 · 0 评论 -
OpenMMLab-AI实战营第二期——6-2.玩转AIGC神器MMagic
Stable Diffusion的文生图,以及controlnet和dreamboost的图生图(输入一个图像+文字描述,输出另一张图像)在2022年以前,这种技术是无法想象的,像magic一样,所以这个库就叫mmagic1. Stable Diffusion和Midjourney参考知乎文章-十分钟读懂Stable Diffusion,这里也有体验Midjourney的方式,但是我体验的时候提示今日免费体验额度没有了。原创 2023-06-16 22:39:44 · 853 阅读 · 1 评论 -
OpenMMLab-AI实战营第二期——6-1. 底层视觉与MMEditing
GAN(generateive adversarial network)是一种无监督的网络,在超分任务上有广泛的应用。原创 2023-06-15 22:59:43 · 592 阅读 · 0 评论 -
OpenMMLab-AI实战营第二期——5-1.语义分割与MMSegmentation
Transformer系列统一语义分割、实例分割和全景分割任务,大一统模型以上几种比较前沿的新算法,MMSegmentation里都有实现LabelStudio和LabelMe都集成了SAM,可以试试标注效果。原创 2023-06-12 23:14:38 · 2163 阅读 · 0 评论 -
OpenMMLab-AI实战营第二期——4-2.MMDetection代码课
MMDetection 支持了各种不同的检测任务,包括目标检测,实例分割,全景分割,以及半监督目标检测。检测是分割的基础,所以它也包含了很多分割任务,和MMSegmentation的区别是:目前,支持的分割任务为语义分割中支持了实例分割和全景分割。超详细!带你轻松掌握 MMSegmentation 整体构建流程语义分割的应用:①自动驾驶;②遥感图像分析;③医学图像分析。所以可以理解为专门为了这三个垂直方向把语义分割方向的模型单独列出来了这个库主要是面向3D的,感觉重点在点云数据上,原创 2023-06-11 22:09:30 · 1378 阅读 · 6 评论 -
OpenMMLab-AI实战营第二期——4-1.目标检测与MMDetection
定位+分类DPM:Deformable Part Model,可形变组件模型,于2008年提出,并发表了一系列的cvpr,NIPS。并且还拿下了2010年,PASCAL VOC的“终身成就奖”DPM用到了HOG的东西,是用传统算法做的。详见:CSDN博客-DPM(Deformable Part Model)原理详解博客园博客-关于DPM(Deformable Part Model)算法中模型可视化的解释,算法提出者使用的是matlab写得源码。原创 2023-06-10 00:31:39 · 1759 阅读 · 0 评论 -
OpenMMLab-AI实战营第二期——3-2. MMPretrain代码实战
比如:数据已经传到google云上了,懒得再改或者之后可能会修改数据分布,可能会有新的数据进来等那么频繁对图像文件夹进行改动,就不是很方便,此时可以考虑添加一个标注文件。准备数据集-标注文件方式1.文件结构| --fruit30_train | --哈密瓜 | --1.jpg | --2.jpg | --苦瓜 | --1.jpg | --2.jpg | --meta # 存放标注文件 | --train.txt | --val.txt | --test.txt2.标注文件内容比如:文件的内容。原创 2023-06-08 15:46:07 · 1024 阅读 · 4 评论 -
OpenMMLab-AI实战营第二期——3-1.深度学习预训练与MMPretrain
视频链接:b站-深度学习预训练与MMPretrain官网:self-attention对比学习掩码学习对比学习+掩码学习双流网络,zero-shot分类器原创 2023-06-05 22:50:46 · 620 阅读 · 0 评论 -
OpenMMLab-AI实战营第二期——2-2.基于RTMPose的耳朵穴位关键点检测(Colab+MMPose)
环境太新,导致后面安装mmcv的时候找不到现成的wheel,需要从tar.gz编译,编译一直过不去,mmcv一直卡在:Building wheels for collected packages: mmcv。总之把你希望要保留的文件都建立相应的文件夹,然后第一次打开.ipynb的时候,记得选择Colab,此时,这个文件就和Google云端硬盘关联了,在colab中对这个文件进行修改,会保存到Google云端硬盘中。注意,先选好运行时,再进行文件的关联,不然去新的运行时之后,还要再重来一遍。原创 2023-06-04 16:03:50 · 1146 阅读 · 1 评论 -
OpenMMLab-AI实战营第二期——2-1.人体关键点检测与MMPose
关键点提取,属于模式识别人体姿态估计的下游任务:行为识别(比如:拥抱。。下游任务:CG和动画,这个是最常见的应用下游任务:人机交互(手势识别,依据收拾做出不同的响应,比如:HoloLens会对五指手势(3D)做出不同的反应)自顶向下方法自底向上方法单阶段方法基于Transformer的方法。原创 2023-06-02 21:46:31 · 1716 阅读 · 4 评论 -
OpenMMLab-AI实战营第二期——1. 计算机视觉与OpenMMLab概述
个人更关注语义分割和3D方面的内容,所以这里重点记录这两点相关的。原创 2023-06-01 13:21:54 · 876 阅读 · 0 评论