段智华
智华专注于GenAI/LLM大模型技术的研究,参与了7本书籍的写作,拥有3项专利,10多项软著,以及4篇IEEE国际会议论文。参与Gavin大咖主编,北京航空航天大学出版社2024年5月最新出版的2本图书著作:《Transformer&ChatGpt解密:原理、源码及案例》、《Transformer& Rasa 解密 原理、 源码及案例》,共撰写1948篇原创博客文章,涵盖Transformer、GPT-4、ChatGPT、Llama2/3、Langchain、Mistral、Mixtral、Rasa、AI机器学习、Spark大数据等主题。博客文章的总阅读量为310万次。
展开
-
全方位技术解读SORA(源自互联网资料)
全方位技术解读SORA。以上资料来自互联网资料。原创 2024-02-26 21:40:06 · 145 阅读 · 0 评论 -
Sora基础知识学习
SORA材料来源于互联网资料。原创 2024-02-22 22:00:04 · 234 阅读 · 0 评论 -
PAAS云平台目标检测深度学习模型部署
PAAS云平台目标检测深度学习模型部署。原创 2023-02-01 16:22:33 · 305 阅读 · 0 评论 -
计算机视觉系列 -OpenMMLab 2.0系列直播 学习笔记
计算机视觉系列 -OpenMMLab 2.0系列直播 学习笔记以上部分学习笔记素材来源自 openmmlab,部分图文来源网络。原创 2022-09-25 19:26:17 · 473 阅读 · 0 评论 -
计算机视觉系列 -OpenMMLab 之 MMRazor 模型轻量化瑞士军刀 蒸馏、剪枝、网络结构搜索全方向覆盖
计算机视觉系列 -OpenMMLab 之 MMRazor 模型轻量化瑞士军刀 蒸馏、剪枝、网络结构搜索全方向覆盖。原创 2022-09-09 20:47:51 · 2720 阅读 · 1 评论 -
计算机视觉系列 -MMDetection 之MobileNetV2YOLOV3 经典算法(一)
计算机视觉系列 -MMDetection 之MobileNetV2YOLOV3 经典算法(一)YOLO 是工业界应用非常广泛的算法, MMDetection 提供了 MobileNetV2-YOLOV3 的配置文件和预训练模型原创 2022-08-28 21:34:37 · 690 阅读 · 0 评论 -
计算机视觉系列 -MMDetection 之SSDLite经典算法
SSDLite论文SSDLite是Google在CVPR2018论文MobileNetV2InvertedResidualsandLinearBottlenecks中提出的轻量级检测模型论文描述了一种新的移动架构MobileNetV2,该架构在多个任务和基准以及不同模型大小的spectrum上提高了移动模型的最先进性能。论文还描述了在称为SSDLite的新框架中将这些移动模型应用于对象检测的有效方法。此外,论文还演示了如何通过简化形式的DeepLabv3构建移动语义分割模型。...原创 2022-07-30 11:46:46 · 1420 阅读 · 0 评论 -
计算机视觉系列-YOLOX 在 MMDetection 中复现全流程解析(五)
计算机视觉系列-YOLOX 在 MMDetection 中复现全流程解析(五)# YoloX 简介论文:YOLOX: Exceeding YOLO Series in 2021论文链接:[https://arxiv.org/abs/2107.08430](https://arxiv.org/abs/2107.08430)原创 2022-07-29 21:01:09 · 1133 阅读 · 2 评论 -
计算机视觉系列-YOLOX 在 MMDetection 中复现全流程解析(四)
计算机视觉系列-YOLOX 在 MMDetection 中复现全流程解析(四)论文:YOLOX: Exceeding YOLO Series in 2021论文链接:https://arxiv.org/abs/2107.08430上一篇博客分析了旷视科技YOLOX Loss的源码分析,本文学习MMDetection YoloX Loss的复现重构,采用 MMDetection 中 的构建方式: prior_generator + bbox assign + bbox encode decode + lo原创 2022-07-28 21:29:15 · 863 阅读 · 0 评论 -
计算机视觉系列-YOLOX 在 MMDetection 中复现全流程解析(三)
论文YOLOX 网络输出包括 3 个 尺度, stride 分别是 8、16 和 32,每个输出尺度上又包括 3 个输出,分别是 bbox 输出分支、objectness 输出分支和 cls 类别输出分支原创 2022-07-24 17:43:03 · 614 阅读 · 0 评论 -
计算机视觉系列-YOLOX 在 MMDetection 中复现全流程解析(二)
计算机视觉系列-YOLOX 在 MMDetection 中复现全流程解析(二)论文:YOLOX: Exceeding YOLO Series in 2021论文链接:https://arxiv.org/abs/2107.08430dataset 部分 包括 Mosaic 、MixUp、ColorJit 和动态 resize 等等操作MMDetection 实现,以 Mosaic 为例,mmdetection-2.25.0/mmdet/datasets/pipelines/transforms.py作为原创 2022-07-24 11:04:41 · 571 阅读 · 0 评论 -
计算机视觉系列-YOLOX 在 MMDetection 中复现全流程解析(一)
论文YOLOXhttps论文对YOLO系列进行了一些有经验的改进,形成了一种新的高性能探测器——YOLOX。论文将YOLO检测器切换为anchor-free方式,并采用其他先进的检测技术,即解耦头和领先的标签分配策略SimOTA,以在大规模模型范围内实现最先进的结果对于只有0.91M参数和1.08G浮点的YOLONano,论文在COCO上获得25.3%的AP,超过NanoDet1.8%的AP;httpshttps。...原创 2022-07-20 21:28:17 · 793 阅读 · 0 评论 -
轻松掌握 MMDetection 中常用算法 :AutoAssign
论文AutoAssignhttps确定用于对象检测的正/负样本称为标签分配。论文提出了一个名为AutoAssign的无锚检测器。它需要很少的人类知识,并通过完全可微的加权机制实现外观感知。在训练过程中,为了既满足数据的先验分布又适应类别特征,论文提出了中心加权来调整特定类别的先验分布。为了适应对象的外观,提出了置信权加权来调整每个实例的具体分配策略,然后将两个加权模块组合起来生成正负权重,以调整每个位置的置信度。...原创 2022-07-15 20:57:56 · 733 阅读 · 1 评论 -
计算机视觉系列-YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors
httpshttpsYOLOv7在5FPS到160FPS范围内的速度和精度达到了新的高度,并在GPUV100上具有30FPS或更高的所有已知实时目标检测器中具有最高的精度56.8%AP。原创 2022-07-15 10:11:26 · 241 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中常用算法:YOLACT(二)
计算机视觉系列-轻松掌握 MMDetection 中常用算法:YOLACT(二)原型掩码预测分支mmdetection-2.25.0/mmdet/models/detectors/yolact.py原型掩码预测分支 forward :实例分割的 target 是每个 bbox 实例的 mask,通过 forward 得到实例的 mask,原型预测分支输入参数需要利用预测的每个实例掩码系数原型掩码 protonet 分支的训练过程mmdetection-2.25.0/mmdet/models/原创 2022-07-14 14:25:29 · 609 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中常用算法:YOLACT(一)
计算机视觉系列-轻松掌握 MMDetection 中常用算法:YOLACT(一)You Only Look At CoefficienTsYOLACT: Real-time Instance Segmentation论文链接:https://arxiv.org/abs/1904.02689YOLACT:实时实例分割论文提出了一个简单的全卷积模型,用于实时实例分割,在单个 Titan Xp 上以 33.5 fps 的速度在 MS COCO 上实现了 29.8 mAP,这比以前的任何竞争方法都要快得多。原创 2022-07-12 14:39:42 · 761 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中常用算法:CenterNet
计算机视觉系列-轻松掌握 MMDetection 中常用算法:CenterNet论文链接:https://arxiv.org/abs/1904.07850Objects as Points:对象作为点检测将对象识别为图像中的轴对齐框。大多数成功的对象检测器都会列举几乎详尽的潜在对象位置列表,并对每个位置进行分类, 这是浪费的、低效的,并且需要额外的后处理。在本文中,我们采用了不同的方法。我们将一个对象建模为一个点——它的边界框的中心点。我们的检测器使用关键点估计来找到中心点并回归到所有其他对象属性,例原创 2022-07-11 15:31:25 · 650 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中常用算法 YOLOF(二)
计算机视觉系列-轻松掌握 MMDetection 中常用算法 YOLOF(二)mmdetection-2.25.0/mmdet/models/dense_heads/yolof_head.py其中 normalized_cls_score 是为了能够对融合后的 normalized_cls_score 采用 sigmoid 函数,其对应的公式是代码示例:运行结果如下:Bbox CoderYOLOF 输出格式采用 RetinaNet 算法中定义的 deltaXYWH回归分支输出的 4 个值表原创 2022-07-10 21:10:29 · 600 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中常用算法 YOLOF(一)
计算机视觉系列-轻松掌握 MMDetection 中常用算法 YOLOF(一)YOLOF : You Only Look One-level Feature论文链接:https://arxiv.org/abs/2103.09460论文重新审视了单阶段检测器的特征金字塔网络(FPN),并指出 FPN 的成功是由于其对目标检测优化问题的分而治之的解决方案,而不是多尺度特征融合。从优化的角度来看,论文引入了一种替代方法来解决该问题,而不是采用复杂的特征金字塔 - 仅利用一级特征进行检测 。基于简单高效的解决原创 2022-07-05 21:33:14 · 647 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中 全景分割算法 MaskFormer(三)
计算机视觉系列-轻松掌握 MMDetection 中 全景分割算法 MaskFormer(三)MaskFormer 论文链接:https://arxiv.org/abs/2107.06278MaskFormer代码解析inference 代码整个 simple_test 推理代码,从 forward 的返回结果到最终的预测结果,涉及代码为以下三部分:MaskFormer 的 simple_test 代码:mmdetection-2.25.0/mmdet/models/detectors/mas原创 2022-07-04 19:37:33 · 310 阅读 · 0 评论 -
计算机视觉系列-AlexNet论文复现学习笔记(二)
计算机视觉系列-AlexNet论文复现学习笔记(二)在上一篇博客,我们学习了模型训练对齐方法:本文继续基于 AlexNet网络模型学习神经网络训练的基本模块,学习 Paddle及Pytorch框架论文复现中的loss对齐、学习率对齐、反向对齐、精度对齐方法。AlexNet论文链接: https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdfgithub:https://github.co原创 2022-07-02 19:46:46 · 857 阅读 · 0 评论 -
计算机视觉系列- 博客上榜:每天值得看 及人工智能领域内容榜
计算机视觉系列- 博客上榜:每天值得看原创 2022-07-02 09:12:42 · 447 阅读 · 0 评论 -
计算机视觉系列-AlexNet论文复现学习笔记(一)
计算机视觉系列-AlexNet论文复现学习笔记(一)基于Resnet,AlexNet网络模型学习神经网络训练的基本模块,学习 Paddle及Pytorch框架论文复现,实现神经网络模型权重转写,前向对齐以及数据加载对齐方法。AlexNet论文链接: https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdfgithub:https://github.com/deep-diver/Ale原创 2022-07-01 16:25:55 · 661 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中 全景分割算法 MaskFormer(二)
计算机视觉系列-轻松掌握 MMDetection 中 全景分割算法 MaskFormer(二)MaskFormer 论文链接:https://arxiv.org/abs/2107.06278MMDetection 中的目标检测器包括三部分:backbone、neck 、headMaskFormer 模块结构:结构类似于 FPN,主干网络如采用swin transformer,则使用PixelDecodermmdetection-2.25.0/mmdet/models/plugins/pixel_de原创 2022-06-26 19:57:13 · 702 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :Cascade R-CNN(三)
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :Cascade R-CNN(三)Cascade R-CNN 的Backbone、FPN 和 RPN这三个部分和 Faster R-CNN 基本相同,本文从上层对比 Faster R-CNN 和 Cascade R-CNN 的 R-CNN 测试流程的区别Faster R-CNN 的 StandardRoIHeadmmdetection-2.25.0/mmdet/models/roi_heads/standard_roi_head.pyCas原创 2022-06-23 19:22:48 · 584 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :Cascade R-CNN(二)
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :Cascade R-CNN(二)Cascade R-CNN 的Backbone、FPN 和 RPN这三个部分和 Faster R-CNN 基本相同,本文从上层对比 Faster R-CNN 和 Cascade R-CNN 的 R-CNN 训练和测试的区别Faster R-CNN 的 StandardRoIHeadmmdetection-2.25.0/mmdet/models/roi_heads/standard_roi_head.pyCas原创 2022-06-22 20:41:12 · 565 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :Cascade R-CNN(一)
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :Cascade R-CNN(一)论文链接: https://arxiv.org/abs/1906.09756Cascade R-CNN:高质量的对象检测和实例分割在目标检测中,通常使用交并比(IoU)阈值来定义正/负样本,用于训练检测器的阈值定义了其质量。虽然常用的阈值0.5会导致噪声(低质量)检测,但如果阈值较大,检测性能往往会下降。这种高质量检测的悖论有两个原因:1)由于大阈值的正样本消失而导致的过度拟合,2)检测器和测试假设之间的原创 2022-06-20 20:56:02 · 297 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :ATSS(三)
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :ATSS(三)Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample SelectionATSS 基本思路:具体步骤:计算每个 gt bbox 和多尺度输出层的所有 anchor 之间的 IoU计算每个 gt bbox 中心坐标和多尺度输出层的所有 anchor 中心坐标的 l2 距离遍历每个输出层,遍历每个 gt原创 2022-06-19 19:26:16 · 439 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :ATSS(二)
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :ATSS(二)Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection论文链接 https://arxiv.org/abs/1912.02424ATSS 的主干网络是ResNetATSS NeckATSS 的颈部网络是FPN,neck 部分和retinanet网络的 add_extra_con原创 2022-06-18 21:38:22 · 235 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :ATSS(一)
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :ATSS(一)FCOS(FCOS: Fully Convolutional One-Stage Object Detection) 是 anchor-free 算法, BBox Assigner 过程是通过 regress_ranges 和 center_sample_radius 两个参数控制而 ATSS 算法基于 FCOS 对其 Bbox Assigner 规则进行改进,提出了自适应分配机制,正样本分配机制更加灵活,配置一个超参 topk,原创 2022-06-18 20:19:12 · 547 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :FCOS (三)
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :FCOS (三)mmdetection-2.25.0/mmdet/core/bbox/coder/distance_point_bbox_coder.pyLossFCOS 一共有 5 个输出层,每个输出层 3 个分支,分别是分类分支、Bbox 回归分支和 centerness 预测分支。(1) 分类分支 采用 FocalLossmmdetection-2.25.0/mmdet/models/dense_heads/fcos_head.原创 2022-06-17 21:29:25 · 375 阅读 · 0 评论 -
计算机视觉系列-论文学习 INTERN: A New Learning Paradigm Towards General Vision
计算机视觉系列-论文学习 INTERN: A New Learning Paradigm Towards General VisionOpenGVLab 开源通用视觉开发平台作为人工智能技术的下一个重要里程碑,通用人工智能技术将带来颠覆性创新。上海人工智能实验室、商汤科技、香港中文大学和上海交通大学联手打造一个协作、包容、和持久的开源社区,用于推进通用视觉人工智能,名为 OpenGVLab。OpenGVLab 将依靠我们的新开发了通用视觉学习范式 INTERN,以推动工业、学术界和研究领域的进步。论文链接原创 2022-06-16 14:36:34 · 305 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :FCOS(二)
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :FCOS(二)论文:FCOS: Fully Convolutional One-Stage Object Detection论文链接:https://arxiv.org/abs/1904.01355FCOS 网络输出格式:对于特征图位置上任何一点都回归其距离 Bbox 4 条边的距离FCOS 的 BBox Assigner 通过 regress_ranges 和 center_sample_radius 两个参数控制。多尺度预测要解决原创 2022-06-14 16:12:04 · 198 阅读 · 1 评论 -
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :FCOS(一)
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :FCOS (一)我们学习了目标检测 anchor-based 算法,包括本文学习不需要设置 anchor 的目标检测算法,例如 FCOS 和 ATSS论文:FCOS: Fully Convolutional One-Stage Object Detection论文链接:https://arxiv.org/abs/1904.01355FCOS:全卷积单阶段目标检测论文提出了一种完全卷积的单级目标检测器(FCOS),以类似于语义分割的逐像原创 2022-06-13 19:54:02 · 292 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中常用算法:Faster R-CNN|Mask R-CNN (五)
计算机视觉系列-轻松掌握 MMDetection 中常用算法:Faster R-CNN|Mask R-CNN (五)论文链接:https://arxiv.org/abs/1703.06870论文提出了一个概念上简单、灵活和通用的对象实例分割框架。论文的方法有效地检测图像中的对象,同时为每个实例生成高质量的分割掩码。该方法称为 Mask R-CNN,通过添加用于预测对象掩码的分支与用于边界框识别的现有分支并行来扩展 Faster R-CNN。Mask R-CNN 很容易训练,并且只为 Faster R-C原创 2022-06-10 21:21:58 · 291 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中常用算法:Faster R-CNN|Mask R-CNN (四)
计算机视觉系列-轻松掌握 MMDetection 中常用算法:Faster R-CNN|Mask R-CNN (四)R-CNN 模块( RoI Head)接收 RPN 输出的每张图片共 nms_post 个候选框,refine输出包括区分具体类别和 bbox 回归,包括了 RPN 中涉及到的组件,例如 BBox Assigner、BBox Sampler、BBox Encoder Decoder、Loss 等等,还包括一个额外的 RPN 到 R-CNN 数据转换模块:RoIAlign 或者 RoIPool原创 2022-06-10 15:38:46 · 301 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中常用算法:Faster R-CNN|Mask R-CNN (三)
计算机视觉系列-轻松掌握 MMDetection 中常用算法:Faster R-CNN|Mask R-CNN (三)在 anchor-based 算法中,为了利用 anchor 信息进行更快更好的收敛,一般会对 head 输出的 bbox 分支 4 个值进行编解码操作,作用有两个:Faster R-CNN中BBox Encoder Decoder参数及实现方式和 RetinaNet 相同采用的编解码函数是 DeltaXYWHBBoxCoder,其配置如下target_means 和 target_std原创 2022-06-09 21:36:00 · 292 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中常用算法:Faster R-CNN|Mask R-CNN (二)
计算机视觉系列-轻松掌握 MMDetection 中常用算法:Faster R-CNN|Mask R-CNN (二)Faster R-CNN 模型整体流程:OpenMMLab 提供的模型配置:以 ResNet50 为例NeckFaster R-CNN 采用了 FPN,但配置和 RetinaNet 不同FPN 模块实现了4 个特征图输入, 5个特征图输出,其 strides = (4,8,16,32,64),与RetinaNet 有所区别。RPN Head 网络相对RetinaHead较简单,一个卷原创 2022-06-08 16:31:44 · 255 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :Faster R-CNN|Mask R-CNN(一)
计算机视觉系列-轻松掌握 MMDetection 中常用算法(二):Faster R-CNN|Mask R-CNN本文学习 two-stage 算法 Faster R-CNN 以及改进版 Mask R-CNN论文链接:https://arxiv.org/abs/1506.01497Faster R-CNN:使用区域提议网络实现实时目标检测最先进的目标检测网络依赖于区域建议算法来假设目标的位置,Fast R-CNN等技术缩短了检测网络的运行时间,区域提议的计算成为检测网络的瓶颈。在这项工作中,我们引入了一个原创 2022-06-06 20:52:02 · 371 阅读 · 0 评论 -
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :RetinaNet(四)
计算机视觉系列-轻松掌握 MMDetection 中常用算法 :RetinaNet(四)计算得到输出特征图上面每个点对应的原图 anchor 坐标后,就可以和ground truth 信息计算每个 anchor 的正负样本属性配置:MaxIoUAssigner 操作包括 4 个步骤:MaxIoUAssigner 的源代码:初始化所有 anchor 为忽略样本计算背景样本计算高质量正样本适当增加更多正样本计算高质量正样本中可能会出现某些 gt bbox 没有分配给任何一个 anchor ,由于 io原创 2022-06-05 16:41:37 · 269 阅读 · 0 评论