- 博客(754)
- 资源 (13)
- 收藏
- 关注
RSS订阅
转载 PyTorch Cookbook（常用代码段整理合集）
本文代码基于PyTorch 1.0版本，需要用到以下包import collectionsimport osimport shutilimport tqdmimport numpy as npimport PIL.Imageimport torchimport torchvision1 基础配置1-1 检查PyTorch版本torch.__version__ ...
2019-04-27 15:58:29
3008
4
原创 Linux常见命令汇总
Linux下统计当前文件夹下的文件个数、目录个数统计当前文件夹下文件的个数，包括子文件夹里的ls -lR|grep "^-"|wc -l统计文件夹下目录的个数，包括子文件夹里的ls -lR|grep "^d"|wc -l统计当前文件夹下文件的个数ls -l |grep "^-&quot
2018-12-06 11:08:08
1634
11
原创 本博客目录及版权申明
【C++ Primer 学习笔记】系列：第一部分 基本语言第二部分 容器和算法 【C++ Primer 学习笔记】： 容器和算法之【顺序容器】 【C++ Primer 学习笔记】： 容器和算法之【关联容器】 【C++ Primer 学习笔记】： 容器和算法之【泛型算法】第三部分 类和数据抽象第四部分 面向对象编程与泛型算法第五部分 高级主题【Java： 23种设计模式】系列 Java： 23
2015-11-25 17:37:30
1534
1
原创 基于运动补偿的前景检测算法
这段代码实现了一个基于运动补偿的前景检测算法，主要用于从视频序列中提取前景对象。算法核心包括两个模块：运动补偿和前景检测。运动补偿模块通过基于网格的KLT特征跟踪算法计算两帧之间的运动，并使用单应性变换进行帧间运动补偿。前景检测模块则结合两帧的运动补偿结果，通过帧间差分计算前景掩码。代码还包含异常处理和路径处理功能，确保图像加载和保存时的健壮性。使用时需提供三帧连续图像（两个参考帧和当前帧），算法将输出前景掩码并保存为图像文件。
2025-05-14 14:15:12
376
原创 深度学习论文: YOLOMG: Vision-based Drone-to-Drone Detection with Appearance and Pixel-Level Motion Fusion
针对复杂环境下微型无人机检测难题，本文提出端到端框架YOLO-MG，通过运动引导实现精准检测。
2025-05-13 15:49:45
32
原创 深度学习论文: Describe Anything: Detailed Localized Image and Video Captioning
与传统图像描述相比，详细本地化字幕（DLC，Detailed Localized Captioning）有着显著差异。传统图像描述往往只是对整个场景进行粗略概括，而 DLC 则致力于深度挖掘用户指定区域的细微之处。其核心目标不仅在于识别对象的名称或类别，更着重于捕捉诸如纹理、色彩图案、形状、特性以及各类独特视觉特征等微妙属性。可描述一切模型（DAM）在生成图像和视频中物体的详细描述方面表现卓越。
2025-04-30 15:46:20
213
原创 openbmb/MiniCPM-V-2_6 和 AIDC-AI/Ovis2-1B 的网络结构体对比
维度Ovis2核心定位端侧多模态大模型（8B参数）全场景多模态大模型（34B参数）技术亮点低秩特征压缩、动态视觉tokenizer概率化视觉token、跨模态交叉注意力适用场景移动端实时交互（如智能客服、内容审核）复杂推理任务（如教育、科研）性能指标OpenCompass平均分65.2（8B模型）OpenCompass平均分72.1（34B模型）生态支持支持Hugging Face、OpenVINO支持Hugging Face、DeepSpeed。
2025-04-18 15:34:08
501
原创 深度学习论文: Ovis: Structural Embedding Alignment for Multimodal Large Language Model
在当下的多模态大语言模型（MLLM）领域，常见的做法是借助诸如多层感知机（MLP）之类的连接组件，将预训练的大语言模型（LLM）与另一个预训练的视觉 Transformer 进行整合，以此赋予大语言模型视觉处理能力。然而，在多模态大语言模型中，两种嵌入策略存在着显著的不协调问题：其一是基于嵌入查询表的结构化文本嵌入方式，其二是由视觉编码器直接生成的连续嵌入方式。这种策略上的差异，给视觉信息与文本信息的深度融合带来了诸多挑战，难以实现无缝衔接。有鉴于此，本文创新性地提出了 Ovis 这一架构。
2025-04-17 10:55:43
52
原创 深度学习论文: Autoregressive Pre-training of Large Vision Encoders
跨模态生成架构设计层级化视觉-文本编码器-解码器结构，采用因果掩码机制实现图像块与文本令牌的双向信息流动。视觉编码器结合动态前缀注意力，文本解码器融合SwiGLU激活与RMSNorm归一化，提升跨模态特征交互效率。统一目标函数提出多模态序列生成目标函数，通过像素级MSE（图像）和交叉熵（文本）损失联合优化，α超参数平衡模态监督。突破传统对比学习局限，直接通过生成任务增强跨模态语义一致性。高效训练策略采用混合精度训练与动态序列打包技术，在120亿图文对上实现高效训练。
2025-04-02 14:53:03
170
原创 深度学习论文: OverLoCK: An Overview-first-Look-Closely-next ConvNet with Context-Mixing Dynamic Kernels
自上而下的注意力在人类视觉系统中至关重要，大脑先概览场景找线索，再细察详情。但现代卷积神经网络（ConvNets）采用金字塔结构扩大感受野，忽略了这一仿生原理。本文提出了 OverLoCK，这是首个明确融入自上而下注意力机制的纯卷积神经网络骨干架构。与金字塔骨干网络不同，本文的设计采用了一种分支架构，包含三个协同工作的子网络：1）基础网络（Base - Net），用于编码低 / 中层特征；
2025-04-02 10:39:26
410
原创 深度学习论文: Image Segmentation Using Text and Image Prompts
本文以CLIP模型为骨干网络，扩展了基于Transformer的解码器以实现密集预测。在扩展版PhraseCut数据集训练后，系统可根据自由文本提示或表达查询的附加图像生成图像二值分割图。本文详细分析了基于图像提示的不同变体，这种新型混合输入方式不仅支持上述三类分割任务，还适用于任何可通过文本或图像查询定义的二值分割任务。实验表明，该系统能有效适应涉及功能属性或物理特性的广义查询。核心创新点统一多任务框架：通过单模型解决三类分割任务，突破传统方法的类别限制动态提示机制。
2025-03-26 17:29:28
252
原创 深度学习论文: Transformers without Normalization
归一化层在现代神经网络中广泛应用且长期被视为不可或缺的组件。本研究突破性地证明，通过一种极为简洁的技术，无需归一化层的 Transformer 模型即可达到甚至超越传统架构的性能。本文提出动态双曲正切模块 DyT（Dynamic Tanh），其逐元素操作定义为 DyT (x) = tanh (αx)，可直接替代 Transformer 中的归一化层。这一设计源于对 Transformer 中 LayerNorm 层普遍呈现类 tanh 型 S 曲线输入输出映射的观察。
2025-03-25 16:57:10
684
原创 深度学习论文: General OCR Theory: Towards OCR-2.0 via a Unified End-to-end Model
在 OCR 技术领域，传统方法与基于大型视觉语言模型（LVLM）的方案难以满足人们对光学字符处理日益多元的需求。为突破这一困境，我们创新提出通用 OCR 理论 ——OCR - 2.0，旨在构建新型 OCR 模型，推动该技术迈向新高度。端到端架构：摒弃传统 OCR - 1.0 模型复杂的多模块流水线，采用统一架构，简化流程，降低维护成本，让初学者也能轻松掌握，极大提升系统易用性与扩展性。
2025-03-24 16:24:01
200
原创 深入理解 Re-parameterizable RegionText Alignment (RepRTA) 技术
Re - parameterizable RegionText Alignment（RepRTA）技术通过创新的重新参数化方法，为文本与图像区域对齐问题提供了一种高效、准确的解决方案。它在模型架构设计上的突破，带来了性能的显著提升，在多个实际应用场景中展现出巨大的潜力。展望未来，随着计算机视觉和自然语言处理技术的不断发展，RepRTA有望在更广泛的领域得到应用和拓展。例如，结合新兴的多模态预训练模型，进一步提升其在复杂场景下的性能；
2025-03-20 16:17:10
702
原创 Hugging Face 模型格式全解析：从 PyTorch 到 GGUF
Hugging Face 生态支持多种模型格式，以满足不同场景下的存储、部署和推理需求。以下是主流格式的技术解析与演进脉络：Hugging Face 模型格式的演进体现了安全性、效率和兼容性的平衡：根据需求选择格式：追求安全用 ，本地部署用 ，深度集成 PyTorch 则保留 。
2025-03-20 10:02:32
991
原创 YOLOE:Real-Time Seeing Anything 让 AI 像人类眼睛一样 “看见一切”！
比如训练时教它认“汽车”和“行人”，遇到没见过的“无人机”或“外星生物”就彻底懵圈。传统YOLO就像戴着一副“预设眼镜”，只能看到预先定义的物体。而。
2025-03-14 10:01:57
427
原创 低光图像增强新突破！HVI 色彩空间 + CIDNet 网络如何攻克红黑噪声难题？
低光照图像增强（LLIE）作为计算机视觉领域的核心任务，旨在从退化的暗光图像中恢复清晰细节。传统基于标准 RGB（sRGB）空间的增强方法，由于对颜色变化过于敏感，常导致图像出现明显的色彩偏移和亮度失真。尽管转换到 HSV（色调 / 饱和度 / 明度）空间能部分改善亮度问题，但却引发了更为棘手的红色区域断层和暗部噪声放大问题。针对这一挑战，本文创新性地提出了专为低光增强设计的 HVI（水平 - 垂直 - 强度）色彩空间。极化 HS 平面。
2025-03-13 17:04:06
210
原创 深度学习论文: D-FINE: Redefine Regression Task of DETRs as Fine-grained Distribution Refinement
在实时目标检测领域发展日新月异的当下，D - FINE 以一种极具革新性的姿态横空出世。它犹如一把利刃，显著突破了现有模型的性能瓶颈，这些模型涵盖了如 YOLOv10、YOLO11 以及 RT - DETR v1/v2/v3 等业内知名的目标检测模型，大幅提升了实时目标检测的性能上限。D - FINE 在大规模数据集 Objects365 上完成预训练后，展现出了令人惊叹的实力。它将竞争对手 LW - DETR 远远甩在身后，在 COCO 数据集上更是斩获了高达 59.3% 的平均精度（AP）。
2025-02-25 13:49:07
150
原创 自动驾驶的等级划分
自动驾驶等级是衡量汽车自动化程度的标准，目前广泛采用的是由美国汽车工程师协会（SAE）和国际标准化组织（ISO）制定的分级标准，将自动驾驶分为 0 到 5 级，各级别的区别主要体现在人类驾驶员和自动驾驶系统的职责分配上。
2025-02-21 14:30:45
685
原创 深度学习论文: YOLOv12: Attention-Centric Real-Time Object Detectors
在目标检测领域，YOLO 系列算法凭借在延迟与准确率间的出色平衡占据主导地位。尽管其改进涉及多个方面，但网络架构设计始终是研究的关键方向。近年来，以注意力为核心的视觉 Transformer（ViT）架构展现出强大建模能力，然而多数架构设计仍聚焦于卷积神经网络（CNN）。这是因为注意力机制存在效率问题，包括二次计算复杂性和低效的内存访问操作，这极大限制了其在对推理速度要求高的 YOLO 系统中的应用。
2025-02-20 10:57:44
223
原创 深度学习论文: RailYolact -- A Yolact Focused on edge for Real-Time Rail Segmentation
为了解决模型预测的铁轨掩码边缘粗糙的问题，本文将边缘算子提取的边缘信息融入原始 Yolact 的损失函数中，以强调模型对铁轨边缘的关注。此外，本文应用盒式滤波器对线性插值导致的真实标签掩码边缘锯齿进行平滑处理。由于边缘信息的融入和平滑处理过程仅在训练阶段进行，因此模型的推理速度并未受到影响。本文在自定义铁轨数据集上的实验结果显示，预测准确率有所提高。
2025-02-17 13:18:01
364
原创 深度学习论文: Depth Any Camera: Zero-Shot Metric Depth Estimation from Any Camera
在计算机视觉领域，实现跨任意视场角相机的零样本深度泛化工作颇具挑战性，具体体现在以下几个方面：其一，需选取统一的相机模型来精准表示不同的视场角；其二，要有效利用透视训练数据集，使其能够泛化到仅在大视场角相机中可见的数据空间；其三，要应对因不同视场角导致的统一空间中训练图像大小显著差异的问题；其四，需处理训练和测试阶段之间存在的分辨率不一致问题。针对上述挑战，本文提出了深度任意相机（DAC）这一创新性的零样本度量深度估计框架。
2025-02-14 16:45:43
99
原创 RandAugment、AugMix和AutoAugment三者对比
方法策略生成方式计算成本迁移能力适用场景强化学习搜索极高弱高精度需求、资源充足随机选择+参数控制低强快速训练、通用场景AugMix多增强链混合+一致性损失中等较强鲁棒性要求高、对抗噪声场景通过结合不同方法的优势，实际应用中可根据任务需求灵活选择或组合（如RandAugment与AugMix混合使用）。
2025-02-12 16:26:50
639
原创 深度学习论文: Is Cosine-Similarity of Embeddings Really About Similarity?
深度学习论文: Is Cosine-Similarity of Embeddings Really About Similarity?Is Cosine-Similarity of Embeddings Really About Similarity?PDF:https://arxiv.org/pdf/2403.05440v1PyTorch代码: https://github.com/shanglianlm0525/CvPytorchPyTorch代码: https://github.com/sha
2025-02-05 14:20:30
126
原创 深度学习论文: TinySAM: Pushing the Envelope for Efficient Segment Anything Model
最近，分割任意模型（SAM）凭借其强大的分割能力，在计算机视觉领域引发广泛关注，众多基于预训练 SAM 的后续工作开发出各种应用，于下游视觉任务中性能斐然。然而，SAM 架构复杂，对计算资源需求大，这严重限制了它在计算资源受限的边缘设备上的应用。为解决这一问题，进一步推动高效分割任意模型的发展，本文提出了一个完整框架以构建轻量级的分割任意模型 TinySAM，使其在最大程度保留强大零样本性能的同时，大幅降低计算成本。硬挖掘全阶段知识蒸馏。
2025-01-14 14:51:46
197
原创 深度学习论文: CAS-ViT: Convolutional Additive Self-attention Vision Transformers
在相关研究中，视觉 Transformer（ViT）虽凭借 token mixer 的强大全局上下文能力取得了显著进展，但也面临着 token mixer 中矩阵操作（如 Softmax）复杂度高，以及在移动设备或实时应用中难以兼顾准确性、效率和易部署性等问题。为解决这些问题，研究者提出了卷积加性自注意力（CAS）-ViT 这一轻量级网络家族。首先，研究者认为 token mixer 获取全局上下文信息依赖于空间域和通道域等多维度的信息交互。
2025-01-14 11:34:13
154
原创 深度学习论文: PatchRefiner V2: Fast and Lightweight Real-Domain High-Resolution Metric Depth Estimation
当前高分辨率深度估计方法存在计算效率低、推理时间长的问题。以 PatchRefiner（PR）为例，它采用分块策略获取高分辨率输出，但在实际应用中面临挑战。由于其使用相同架构提取特征，对于单个高分辨率输入，基础模型需至少进行 17 次前向传递，这导致推理时间长、内存需求高，只能采用分阶段训练，效果欠佳。
2025-01-06 15:20:09
98
原创 深度学习论文: Orient Anything: Learning Robust Object Orientation Estimation from Rendering 3D Models
物体方向是理解其在图像中空间姿态和排列的核心属性，然而，从单张图像中准确估计方向的实用解决方案仍未被充分探索。本文提出了Orient Anything，这是首个专门设计用于在单张和自由视角图像中估计物体方向的专家和基础模型。针对标注数据稀缺的问题，本文创新性地从3D世界中提取知识，开发了一套自动化流程，通过标注3D物体的前表面并从随机视角渲染图像，生成了200万张带有精确方向标注的图像数据集。
2025-01-02 14:30:15
142
原创 DeepSeek-V3 技术报告
本文介绍了 DeepSeek-V3，一个强大的混合专家（MoE）语言模型，总参数量为 6710 亿，每个 token 激活的参数量为 370 亿。为了实现高效的推理和经济高效的训练，DeepSeek-V3 采用了多头潜在注意力（MLA）和 DeepSeekMoE 架构，这些架构在 DeepSeek-V2 中得到了充分验证。此外，DeepSeek-V3 率先采用了无辅助损失的负载均衡策略，并设定了多 token 预测训练目标，以提升性能。
2024-12-31 17:11:57
3311
原创 深度学习中的并行策略概述：4 Tensor Parallelism
首先定义了一个简单的模型 SimpleModel，它包含两个全连接层。然后，本文使用 torch.distributed.device_mesh 初始化了一个设备网格，这代表了本文想要使用的 GPU。接着，本文定义了一个 parallelize_plan，它指定了如何将模型的层分布到不同的 GPU 上。最后，本文使用 parallelize_module 函数将模型和计划应用到设备网格上，以实现张量并行。深度学习中的并行策略概述：4 Tensor Parallelism。
2024-12-26 09:45:19
455
原创 深度学习论文: RemDet: Rethinking Efficient Model Design for UAV Object Detection
无人机(UAV)图像中的目标检测正成为研究热点，但面临两大难题：目标小而密集，以及计算资源受限导致模型难以实时部署。当前实时检测器未针对无人机图像优化，且小物体检测方法往往缺乏实时性。为应对这些挑战，本文推出了RemDet（重参数高效乘法检测器）。识别挑战：本文深刻认识到小型密集无人机图像对检测器的挑战，提出将信息损失作为设计高效模型的关键考量。增强小目标检测：引入ChannelC2f模块，通过高维表示有效减轻信息丢失，提升小目标检测性能。
2024-12-26 09:43:46
648
原创 深度学习中的并行策略概述：3 Pipeline Parallelism
首先，定义了一个 ModelArgs 类来存储模型参数，然后创建了一个 Transformer 类，它继承自 nn.Module 并包含了嵌入层、Transformer解码层、层归一化和输出线性层。接着，定义了一个 init_distributed 函数来初始化分布式环境，并设置了进程组和设备。在主函数中，初始化了分布式环境，创建了模型和虚拟数据，并将模型手动分割为两个阶段。然后，将模型和数据移动到指定的设备上，并定义了一个损失函数。代码中还包含了一个销毁进程组的步骤，以确保在程序结束时正确清理资源。
2024-12-25 08:41:43
602
原创 深度学习论文: DEIM: DETR with Improved Matching for Fast Convergence
目标检测在自动驾驶和机器人导航等领域至关重要，而YOLO因其速度快和准确性高而成为主流的实时检测工具。然而，YOLO的一对多锚点策略会导致多个重叠的边界框，需要非极大值抑制（NMS）来减少冗余，这增加了计算延迟和不稳定性。DETR模型通过一对一匹配策略避免了NMS，但它们的慢速收敛和低质量匹配限制了性能。为了解决这些问题，本文提出了一种新的密集一对一（Dense O2O）匹配策略，它通过增加训练图像中的目标数量来生成更多的正样本，从而提供与一对多策略相当的监督水平，而无需增加额外的计算负担。
2024-12-25 08:38:23
635
原创 深度学习中的并行策略概述：2 Data Parallelism
深度学习中的并行策略概述：Data Parallelism数据并行（Data Parallelism）的核心在于将模型的数据处理过程并行化。具体来说，面对大规模数据批次时，将其拆分为较小的子批次，并在多个计算设备上同时进行处理。每个设备负责处理一个子批次，实现并行计算。处理完成后，将各个设备上的计算结果汇总，以便对模型进行统一更新。由于其在深度学习中的普遍应用，数据并行成为了一种广泛支持的并行计算策略，并在主流框架中得到了良好的实现。
2024-12-24 09:05:19
469
原创 深度学习论文: RHO-1: Not All Tokens Are What You Need
扩大模型参数和数据集规模显著提升了大型语言模型的预测准确性，推动了人工智能的发展。然而，训练所有可用数据并不总是最佳或可行的选择，因此数据过滤变得重要，使用启发式方法和分类器来选择训练文档，以提高数据质量和模型性能。尽管进行了文档级过滤，高质量数据集仍包含许多噪声令牌，可能对训练产生负面影响。去除这些令牌可能会改变文本含义，而过于严格的过滤可能排除有用数据并导致偏见。研究表明，网络数据的分布并不自然地与下游应用的理想分布对齐，例如，常见的语料库可能包含不受欢迎的内容，如幻觉或难以预测的模糊令牌。
2024-12-19 11:01:09
269
原创 Samba软件安装与配置指南
通过上述步骤，您已经成功安装并配置了Samba服务器，使其能够共享指定的目录给其他用户访问。请注意，在生产环境中，应根据实际需求调整文件权限和SELinux设置，以确保系统的安全性。SELinux（Security-Enhanced Linux）可能会阻止Samba的正常运行。在Windows系统中，可以通过文件资源管理器访问共享目录。在提示时输入并确认用户的Samba密码。，即可浏览和访问配置好的共享文件夹。保存并退出编辑器（在vim中按。编辑Samba的主配置文件。
2024-12-17 13:07:46
363
原创 深度学习论文: EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction
当前，顶尖的高分辨率密集预测模型所需的计算资源庞大，而大多数硬件设备所能提供的计算资源相对有限，这构成了模型部署的一大障碍。具体而言，模型的复杂度与硬件资源之间的不匹配，使得这些高效模型难以在实际环境中得到广泛应用。此外，高分辨率密集预测模型的有效运行还依赖于对高分辨率图像的准确解析以及强大的上下文信息提取能力。然而，直接将图像分类领域的成功模型架构应用于高分辨率密集预测任务，往往因不适应高分辨率图像处理的特殊要求而效果不佳。
2024-12-11 16:36:09
86
CUDA C编程权威指南
2019-05-02
CUDA并行程序设计 GPU编程指南
2019-05-02
linux下安装Anaconda3+pytorch+tensorboardX依赖包
2019-03-23
Quartz 示例代码
2017-05-02
Java反射机制代码
2017-05-01
java反射示例代码
2017-05-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人