- 博客(10)
- 收藏
- 关注
RSS订阅原创 底层视觉与MMEditing
第一层特征提取经典方法通常将图像分成小块，并基于一系列基底对图像块进行分解(常用算法有PAC、DCT、Haar小波等)，分解系数向量即为图像块在基底上的表示。2、单图超分：通过一张低清晰度的图像通过一定重建算法得到高清晰图像，但是单图超分是不适定问题，对于给定低分辨率图像，高分辨率图像不能唯一确定。1、多图超分：利用多帧低清晰度的图像通过一定重建算法得到高清晰图像，常见于遥感影像和视频超分。图像超分辨率任务：目标提高图像分辨率、高分图像符合低分图像内容、恢复图像的细节。
2023-06-16 10:08:22
134
原创 OpenMMLab图像分割算法库MMSegmentation
应用：自动驾驶领域辅助车辆对道路的情况进行识别与认知、人像分割实时替换视频背景、智能遥感检测不同季节地表水域变换、医疗影像分析辅助进行医疗诊断。方案：增加感受野更大的网络分支，将上下文信息导入局部预测中。可以减少下采样次数；任务：将图像按照物体的类别分割成不同的区域，等价于对每个像素进行分类。上下文信息：图像周围的内容（上下文）可以帮我我们做出更正确的判断。问题：全连接层要求固定输入大小、语义分割输入图像大小是不固定的。问题：效率低下，重叠区域重复计算卷积（可以复用卷积计算）解决：全连接层的卷积化。
2023-06-13 12:01:03
186
原创 MMDetection代码课
MMDetection支持各种不同的检测任务，包括目标检测，实例分割，全景分割，以及半监督目标检测。后续会重点支持多模态通用检测方向。cat是一个单类的数据集，而MMDetection中提供的是COCO 80类配置，因此我们需要对一些重要参数通过配置来修改。官方文档链接：https://mmdetection.readthedocs.io/en/latest/使用tools/test.py脚本可以进行离线测试查看模型的权重。1.数据集准备和可视化。
2023-06-10 01:01:44
165
原创 目标检测与MMDetection
通常都会经历采样步骤，例如，上图中大部分框地ground truth是背景，如果全部求和，背景类别过多，训练出的模型更偏向于给出一个背景的预测。先设定一个固定大小的窗口，遍历图像所有位置，所到之处用分类模型识别窗口重的内容，为检测不同大小、不同形状的物体、可以使用大小不同的窗口扫描图片。3.感受野：神经网络中，一个神经元能“看到”的原图的区域（为计算出这神经元的激活值，原图上哪些像素参与了运算？边界框通常紧密包围感兴趣物体的框，检测任务要求每个物体预测一个边界框。的要求，滑窗是实现这个要求的一个朴素手段。
2023-06-08 23:24:56
60
原创 MMPretrain代码课笔记（配置文件）
模型配置文件：一些初始化参数，backbone主干网络，一个resnet网络用于特征提取，neck是pooling层把backbone提取每张图的特征转为1维向量，head分类头。checkpoint权重保存配置，可以设置max_keep_ckpys=5参数保存最后几个权重，save_best='auto'就会保存目前为止精度最高的模型。注意：配置文件在加载完成后，中间变量的连接关系就没有了，即train_dataloader的type与变量dataset_type没有连接了。
2023-06-07 21:59:37
412
1
原创 MMCV预训练工具箱MMPreTrain
支持开箱即用的推理API和模型，包含丰富的相关任务：图像分类--图像描述--视觉问答--视觉定位---检索。MMPreTrain是一个预训练开源算法框架，提供各种强大的预训练主干网络，并支持不同的预训练策略。代码仓库: https://github.com/open-mmlab/mmpretrain。--数据 数据集划分、数据文件路径、批大小、数据增强策略。--训练优化 梯度下降算法、学习率参数、epoch、学习率变化策略。--模型结构 模型有几层、每层多少通道数。
2023-06-06 17:53:35
255
原创 人体姿态估计与MMPose学习笔记
模型预测热力图比直接回归坐标相对容易，模型精度相对更高，因此主力算法更多基于热力图，但预测热力图的计算消耗大于直接回归。一种生成建模方法，通过一系列可学习的可逆的映射，将标准分布的随机变量映射成复杂分布的随机变量，可用于建模复杂的概率分布。思路2：基于热力图（Heatmap Based），并不直接回归关键点的坐标，而是预测关键点位于每个位置的概率，即。RLE的思路即是将简单的高斯分布替换为一个可学习的、表达能力更强的分布，更好拟合关键点位置的实际分布。2.不需要维持高分辨率特征图，计算层面更高效。
2023-06-02 12:10:53
206
原创 OpenMMLab理论笔记
2.7 图像分类+预训练+多模态算法库 MMpretraion（https://github.com/open-mmlab/mmpretrain）：可以完成图像分类、图像描述、视觉问答（多模态学习）、视觉定位、检索任务。2.11 生成模型+底层视觉+AIGC算法库 MMagic（https://github.com/open-mmlab/mmagic）：可实现AI画画、图像去噪、图像插帧、图像去雾、视频超分辨、黑白照片上色等（底层视觉像素操作）。支持动作识别、时序检测、时空检测，如手语识别。
2023-06-01 17:02:19
624
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人