- 博客(580)
- 资源 (46)
- 收藏
- 关注
RSS订阅原创 PandaGPT实战(2): 逐行代码详解
PandaGPT实现基于给出的图片，实现问答chat功能：比如：给出一张包含汽车和周围背景的图片， 提问： tell a story (描述下该场景)， pandagpt会根据给出的图片以及对应的提问，生成该图片的信息。因此根据pandaGPT实现的功能，准备了非常多的图片，每张图片对应多轮对话的聊天内容，作为训练的数据，训练的标签数据保存为如下的json格式。
2025-04-12 22:30:12
145
原创 PandaGPT实战(1): 环境配置及效果演示
相较于现有仅针对特定模态单独训练的指令跟随型多模态模型，PandaGPT能够理解并综合整合多种形态的信息，包括文本、图像/视频、音频、深度（3D）、热力（红外辐射）及惯性测量单元（IMU）。FieldInfo 是 pydantic 的类，而 DeepSpeed 可能使用了旧版或新版的 pydantic，导致 required 属性不存在。PandaGPT通过整合ImageBind的多模态编码器和Vicuna的大型语言模型，在六种模态（例如，该模型可将照片中物体的视觉形态与对应音频中的声音特征进行关联理解。
2025-04-12 15:48:47
36
原创 通义Qwen实战(2): vllm框架部署实战
通义千问推荐我们使用vllm推理框架，这是国外开源的针对大模型的推理框架。它区别于直接使用huggingface 或者modescope 调用大模型的代码，使用vllm推理时它的速度会更快，并且显存的时候会下降。它会对模型进行结构化的优化，使得推理时耗费更低的显存和算力。因此，通常大模型的在线服务，不会直接使用huggingface 或modescope提供的api, 而是把底层的transformer模型交给专业的推理框架。vllm 推理框架的官网地址:(1) 通过使用。
2025-03-27 21:41:25
127
原创 通义Qwen实战(1): 环境安装及微调实战
在github上的代码，下载到本地。案例1（1）加载model 和分词器Tokenizegithub 上的qwen源码，它默认是支持下载的模型，虽然它把训练好的模型同时支持huggingface和modescope。如果使用的是transformers 这个库导入模型加载器和分词器，那么它是从huggingface下载的，它会很卡甚至超时。
2025-03-16 18:26:36
72
原创 VLM-E2E(1): Senna论文解读
端到端自动驾驶在大规模数据的支持下展现了强大的规划能力，但在复杂和罕见场景中仍因常识有限而表现不佳。相比之下，大规模视觉-语言模型（LVLMs）在场景理解和推理方面表现出色。未来的发展方向在于结合这两种方法的优势。以往使用 LVLMs 预测轨迹或控制信号的方法效果欠佳，因为 LVLMs 并不擅长精确的数值预测。本文提出了Senna，一种将 LVLM（Senna-VLM）与端到端模型（Senna-E2E）结合的自动驾驶系统。。Senna-VLM 采用多图像编码方法和多视角提示，以实现高效的场景理解。
2025-03-12 18:36:29
64
原创 Lora模型微调(2):代码实战
其中lora_layer 对象是LoraLayer实例化得到，它需要传入原先的layer，以及该layer对应的输入和输出的channel，以及秩数r 和加权因子alpha。在推理的时候，如果继续保留这样的Lora层，会发现推理的算力是增加的。通过以上代码，就完成了将模型中w_k,w_q,w_v层的Linear层实现替换为经过Lora封装的lora_layer的实现。，可以封装任意需要Lora作用的层，只需要传入原来的层raw_linear即可，可以即插即用，使用非常方便。
2025-03-09 17:37:33
92
原创 OmniDrive(2):环境搭建
项目中使用的是全量的数据集(full dataset v1.0), 数据量比较大，训练验证(trainval) + test 总计200多G的数据，单独一个个下载会比较慢。参数，否则安装的时候会自动卸载已安装好的torch,重新安装最新版本的torch，这是不允许的。在cuDNN官网下载，默认下载的是最新版本的cuDNN,我们这里点击。,== 博文中详细介绍了完整的cuda和cudnn的安装过程==分析： 这是因为yapf 安装的版本不对，需要安装特定的版本。出现训练的loss变化，就说明可以正常训练了。
2025-03-08 17:10:42
102
原创 OmniDrive(1): 论文解读
papers: OmniDrive: LLM-Agent for Autonomous Driving with 3D Perception, Reasoning and Planninggithub: https://github.com/NVlabs/OmniDrive近年来，多模态大语言模型（MLLMs）[1,24,31] 的快速发展及其卓越的推理能力，推动了端到端自动驾驶 [6,39,46,52,58] 领域的一系列应用。然而，将其能力从二维理解扩展到复杂的三维空间是一个关键挑战，只有克服这
2025-03-08 17:09:12
101
原创 手写LLM(2): 模型训练及代码详解
比如左边输入的是问题，右边对应生成答案。给出标题，在输入的时候，会将输入拼接为< <|im_start|>user>虞美人·曲阑深处重相见虞美人·曲阑深处重相见<|im_end|><|im_start|>assistant， 然后模型就会输出对应标题的诗词，直到遇到停止的token就会结束。openai在发明chatgpt的时候，它将encoder层去掉了，只保留了右边decoder部分, 它是一个decoder-only的模型，它不依赖于标注数据，是一个自回归的模型，利用网上的海量数据进行训练。
2025-03-08 16:35:48
361
原创 手写llm(1):实现BPE Tokenizer
以通义千问为例说明，来介绍LLM大模型中Tokenizer的使用。messages,在通义千问实现问答的时候，可以看到会使用tokenizer，通过加载预训练好的tokernizer权重来创建tokenizer对象，通常tokenizer是跟模型配对的，不同模型对应不同的分词器。通过向tokenizer 中传入一段文本text, 然后会返回一段分词后的id, 这些数字id对应这段text中的一个个单词。接着这些id对应为。
2025-03-08 16:34:52
70
原创 Lora模型微调(1): 原理讲解
参数高效微调（Parameter-Efficient Fine-Tuning,PEFT） 是一种在深度学习模型微调过程中，通过仅更新少量参数来适应新任务的技术。这种方法在保持模型性能的同时，显著减少了计算资源和存储需求，特别适用于大模型（如 GPT、BERT 等）的微调场景。Lora技术是为了规避大模型在反向传播时，显存资源及算力的消耗。它通过将一个大矩阵WWW, 分解为两个小矩阵WAW_AWA和WBW_BWB表示，通过定义秩数rrr来控制参数量，并且满足WA×W。
2025-03-08 16:24:05
315
原创 python 变量类型注释
为什么使用类型注释？可读性：类型注释可以让代码的意图更加明确。开发人员可以一眼看出一个变量或函数的预期类型。静态分析：工具如 mypy 可以静态分析 Python 代码，检查类型错误，帮助及早发现潜在的 bug。IDE 支持：许多现代 IDE（如 VSCode、PyCharm）会利用类型注释提供代码补全、错误提示等功能。文档生成：类型注释可以用来生成文档，帮助其他开发者理解代码的使用。Python 类型注释使得代码更加清晰和易于理解，能够提高代码的质量和可维护性。
2025-02-19 23:23:22
819
原创 md5sum的使用及高级使用详解
md5sum 是一个轻量级、高效的工具，广泛用于文件完整性校验。高级用法结合等命令，可以更灵活地处理批量文件。为更高的安全性需求，可使用sha256sum或其他替代工具。
2025-01-10 19:05:08
1356
原创 使用osmnx生成sdmap数据
OSMnx 是一个强大的 Python 库，用于从 [OpenStreetMap (OSM)](https://www.openstreetmap.org/) 下载地理空间数据并进行图形化分析。它支持自动从 OSM 获取和分析道路网络、建筑物、兴趣点 (POIs) 等数据，并且可以与 NetworkX 无缝集成。
2025-01-10 18:31:16
169
原创 python del的使用详解
del 用于删除变量、列表元素、字典项、对象属性等。在使用 del 删除元素时，确保索引或键存在，避免引发异常。del 是用来显式删除对象的，但并不立即释放内存，内存管理依赖于垃圾回收。
2025-01-07 15:01:42
851
原创 onnx graph surgeon 的使用详解
更加方便的添加/修改onnx节点更加方便的修改子图更加方便的替换算子底层使用的是onnx.helper, 在onnx.helper的基础上进行了封装安装(1) 修改onnx- 合并算子可以看到左边的onnx的节点有输入, 很明显min,max可以同时合并为一个算子clip。在tensorRT进行层融合之前，我们可以先做onnx上的优化，使用onnx graph surgeon 来修改节点，可以得到右边合并算子之后的onnx。(2) 简化LayerNorm。
2024-12-15 18:28:33
238
原创 pdb调试器详解
pdb 是 Python 内置的交互式调试工具，可以帮助开发者逐步调试代码、查看变量、分析问题。pdb 是一个强大的调试工具，通过熟练使用断点、单步执行、调用栈分析等功能，可以帮助快速定位和解决问题。如果程序抛出了异常，可以用 bt 命令查看是在哪一层函数中出现了问题，从而快速定位问题。如果程序包含多层函数调用，bt 可以帮助明确每一层函数调用的顺序，以及当前所处的位置。运行 Python 脚本时，加上 -m pdb，会在发生异常时自动进入调试模式。程序会在脚本的第一行暂停，可以逐步执行代码。
2024-12-14 22:31:11
1506
原创 onnx算子的注册详解及案例 （完整版）
在对swim-transformer导出onnx时，尽管我们已经安装官方文档将需要的库的安装好了，但在导出onnx时会发生下列的问题提示, 错误提示opset9不支持，但我们自然就想到通过提升opset版本，比如提升到12,13。结果发现导出onnx还是会报错从代码中发现我们有一个torch.roll算子，在onnx官方文档中发现onnx暂时是不支持该算子的导出的。return x# PyTorch的推理# onnxruntime的推理。
2024-12-14 20:24:29
380
原创 将欧拉角转换为旋转矩阵
在计算机视觉、机器人学和3D图形学中，欧拉角描述了物体在三维空间中的旋转，可以用三个角度依次描述物体绕。这三个角有常用的命名约定，不同领域可能会使用不同术语。的旋转角度，分别对应Roll,Pitch,Yaw三个角。的旋转角度，分别对应三个独立旋转矩阵。欧拉角通常指沿着固定轴。
2024-11-28 09:58:13
563
原创 Dataset 和 Dataloader 详解
(1)处理变长序列如果一个批次的数据具有不同长度，例如 NLP 中的句子或时间序列，默认的 collate_fn 会报错。需要自定义逻辑，使用 填充（padding） 或其他方法统一长度(2)支持复杂数据结构默认的 default_collate 无法处理某些类型的数据，例如自定义嵌套数据或稀疏数据，需要编写自定义逻辑。(3)特殊预处理在将数据输入模型前，可能需要动态调整或预处理（例如数据增强、归一化等）。
2024-11-24 17:46:35
3201
原创 torch.mm、torch.bmm、torch.matmul
torch.matmul 是更通用的矩阵乘法操作，它支持多维张量，并能够自动广播。适用场景: 当需要对多个矩阵进行批量乘法时使用。根据输入维度和操作需求，选择合适的矩阵乘法函数！，即一批二维矩阵之间的矩阵乘法。
2024-11-22 15:52:58
523
原创 Dropout 和 BatchNorm 在训练和验证中的差异
在验证或推理阶段，必须调用 model.eval()，否则 Dropout 和 BatchNorm 的行为会与训练阶段一致，导致验证结果或推理结果不正确。如果模型中没有 Dropout 或 BatchNorm，则 model.eval() 不会改变模型的行为。
2024-11-17 00:02:09
1035
原创 模型推理: model.eval()和torch.no_grad()的使用说明
两者需要配合使用：model.eval() 确保模型行为正确，with torch.no_grad() 提高推理效率。如果只使用 model.eval() 而没有 with torch.no_grad()，会导致不必要的梯度计算，增加内存和时间开销。如果只使用 with torch.no_grad() 而没有 model.eval()，模型行为可能仍然是训练模式，导致结果不正确。因此，在推理代码中，建议始终按照以下顺序model.eval() # 确保模型行为正确。
2024-11-16 17:51:20
625
原创 利用grid sample优化BevDet
input：输入的特征图，形状为。grid：形状为的网格张量，对应为采样的归一化坐标。这是一个浮点数张量，其中每个位置存储目标输出的采样点。grid 的最后一维表示目标位置的 (x, y) 坐标，范围在 [-1, 1] 之间。mode：插值模式，通常是 bilinear 或 nearest。bilinear：双线性插值（默认值）。nearest：最近邻插值。padding_mode：处理超出边界的模式，zeros, border, reflection。
2024-10-20 20:46:47
543
原创 tensor.new_zeros 和 tensor.new_tensor
tensor.new_zeros 和 tensor.new_tensor 都用来创建一个新的tensor,。
2024-10-20 14:48:22
669
原创 types.MethodType
types.MethodType 是 Python 中的一个内置函数，它用于，使其成为该对象的方法。这在时非常有用。
2024-10-13 18:37:14
315
原创 setup.py详解 及 pip install用法
使用 setup() 函数定义包的基本信息，如名称版本、作者、许可证等。# 读取 requirements.txtsetup(install_requires=install_requires, # 指定项目运行所需的依赖列表],(1) 基本的信息说明name: 指定包的名字, 如mmdet3dversion: 指定包的版本， 如’0.1’author和: 指定作者及邮箱 (可选参数，可填可不填): 对包的简短的描述信息: 一般直接显示README.md。
2024-09-22 22:18:23
820
原创 bev pool 原理及代码讲解
个视锥点对应的3d坐标（voxel/bev坐标系）, 其中Nprime = B x N x D x H x W（相当于视锥点个数）。将bev特征沿着Z方向（dim=2）拍平，得到shape大小为(B,C,X,Y)大小的bev特征，比如(1,80,200,200)。bev_pool的目的是。对于感知算法而言，我认为比较重要的是要了解在Bev视角下，x轴和y轴方向的感知距离，以及Bev网格的大小。（1）基于 geom_feats在bev网格中的位置(x,y,z)和batch_id,对其进行排序。
2024-09-17 23:27:33
458
原创 算子加速(3):自定义cuda扩展
编写CUDA扩展的一般策略是首先编写一个C++文件，该文件定义了将从Python中调用的函数，并使用pybind11将这些函数绑定到Python。此外，这个文件还将声明在CUDA(.cu)文件中定义的函数。C++函数会进行一些检查，并最终将其调用转至CUDA函数。在CUDA文件中，我们编写我们实际的CUDA内核。包将负责用C++编译器(如gcc)编译C++源文件，以及用NVIDIA的nvcc编译器编译CUDA 源文件。这确保每个编译器都负责编译它最擅长的文件。最终，他们将链接成一个共享库。
2024-09-15 22:56:40
364
1
原创 算子加速(2):自定义c++扩展
(1) 用纯pytorch和python 实现我们需要的功能，看效果再决定要不要进一步优化(2) 明确优化方向，用c++(或cuda)重写部分代码(3) 用纯c++实现(4) 将模型的部分移动到CUDA内核来进一步加速，以便从GPU提供的大规模并行中受益。
2024-09-08 20:45:32
364
原创 算子加速(1): torch.autograd.Function的使用
在做Bev项目时，我们会发对于一些计算量非常大的算子，通常会通过CUDA进行加速实现，将cuda计算封装到一个动态库.so，然后提供给python调用，相对于原先的python加速能显著的提升计算效率。比如bev_pool就是通过这种方式实现离线计算和cuda并行，从而速度提升了几个量级bev_pool是Bev算法的关键的运算瓶颈，针对该问题工程上做了大量的性能优化，包括离线运算和cuda并行计算，从而实现bev_pool的计算加速。代码示例如下x,B,D,H,W,return out。
2024-09-08 17:46:17
553
原创 自动驾驶坐标转换（代码）
这两种方式都可以进行ego2bev转换，区别他们的坐标圆点不一样，从而图像会出现颠倒。lidar2cam的变换矩阵和lidar2ego 变换矩阵的获取，基本是一摸一样的的。（1）计算lidar2ego 变换矩阵。其中rotation 4元数，可以调用。经过转换，就将bev转到ego坐标系。(2) 计算转换矩阵(R+T)包，将它转换为矩阵的形式`（1） 在bev空间上绘制。（2） 在rv图像上绘制。为圆点的bev 坐标系。为圆点的bev 坐标系。(1) 以bev的。(2) 以bev的。
2024-09-05 15:12:43
284
原创 tensor和numpy 转换
而torch.as_tensor()则是一个折中的选择，它在可能的情况下避免复制，但在必要时会复制并转换数据类型。，可以接受多种类型的输入，包括列表、元组、NumPy 数组、标量值，甚至是另一个张量。这个方法会创建一个新的张量，并且复制NumPy数组中的数据。这意味着，原始的NumPy数组和新创建的张量是完全独立的，修改其中一个不会影响另一个。torch.as_tensor函数提供了一个灵活的方式来创建张量，并且可以指定数据类型和设备，这对于深度学习模型的输入数据准备非常有用。这个方法会创建一个新的张量，
2024-09-05 14:56:15
2011
原创 np.c_ 和 np.r_ 的使用
是 NumPy 库中的一个方便的索引工具，用于沿着第一个轴（行）连接数组。它常用于将多个数组或数组片段合并成一个更大的数组。np.r_ 可以处理一维或多维数组，并且可以一次性处理多个数组。np.r_ 是一个非常灵活的工具，可以用于各种数组合并的场景。这里，array1, array2, …, arrayN 是要连接的数组。这里，array1, array2, …, arrayN 是要连接的数组。在bev项目中，经常需要给数据增加一个batch_id,此时就可以使用。(3) 合并多个数组。
2024-09-04 11:32:27
847
1
原创 pybind使用详解: python 调用c++代码
对于一些运行很慢的程序，我们就可以使用c++去实现，利用pybind11将接口暴露给python去调用，这样就实现代码编写快速，程序运行高效的目的。主要是对c++实现的类如何进行python的绑定，这样我们就可以在python 中直接创建C++的类，或调用相应的函数功能。，甚至是更快的速度。这里实现一个最简单的pybind的案例，用C++实现一个加法运算,python去调用c++的加法运算。,对大矩阵运算非常快），其次是c++实现的，python原生的矩阵乘法使用了惊人的1499ms。
2024-08-31 20:35:42
673
原创 vscode c++和cuda开发环境配置
通过网盘分享的文件：vscode-cuda-cpp-demo-0828.zip。，从而在调试的时候，能够对修改过的最新代码进行及时的编译。对应的bear版本相对比较低，一般为2.4左右。配置好函数跳转，下一步配置GDB调试(debug)了，同时鼠标放在该函数上会有函数的提示信息。（2）根据源文件的目录，可以修改如下代码。此时原先不能高亮显示，或跳转的函数，就能。(4) make clean 命令。（2）bear make 命令。则对应的bear版本一般为。（1） make 命令。编译器的option。
2024-08-28 22:47:27
1063
原创 git的使用:创建分支并提交
在终端或命令行界面中，使用 git branch 命令来创建一个新的分支。在新分支上进行你的代码更改。这可能包括添加新文件、修改现有文件等。在Git中创建一个新的分支并将代码上传到这个新分支的基本步骤如下。这条命令不仅会推送分支，还会设置上游跟踪分支，(5) 推送新分支到远程仓库。(3) 进行你的更改。
2024-08-26 12:29:50
1877
原创 CUDA-BEVFusion(1): 环境安装
将TensorRT 8.5.3的安装包下载下来，注意需要注册一个Nvidia账号，登入账号才可以下载。, 因此可以11.8的CUDA 版本，尽量下载最新的。， 当我们想用另一个版本的cuda,我们将cuda的软链接指定到另一个版本就可以了。, 然后选择TensorRT 8.5 GA进行下载(GA 表示稳定版本)官网下载，默认下载的是最新版本的cuDNN,我们这里点击。，TensorRT是依赖于CUDA和CUDANN的。(2) 首先解压下载的cudnn包并进入该目录下。(1) 首先解压下载的cudnn包。
2024-08-25 19:56:28
415
MIOU涨5.6个点：语义分割知识蒸馏源码
2024-03-20
yolov8 剪枝源码（集成多种剪枝策略）
2024-03-20
yolov8 多任务(目标检测+可行驶区域分割+车道线分割)
2024-01-07
SOTA 跟踪论文：BoTSORT-OCSORT-StrongSORT 等
2023-12-21
yolov8 tracking支持deepocsort、strongsort、bytetrack、botsort等各类跟踪器
2023-12-21
yolov8 知识蒸馏源码
2023-12-18
YOLO 知识蒸馏学习及落地部署（v5和v8）
2023-12-10
yolov8 PTQ和QAT量化源码
2023-12-09
零基础掌握yolov8剪枝
2023-11-26
车道线UFLD-v2落地量化部署代码
2023-11-26
mmsegmentation中文文档
2023-11-26
yolov7 ptq和qat训练及tensorrt部署
2023-09-16
yolov7旋转目标检测完整代码
2023-05-13
yolov8s模型进行剪枝源码
2023-05-13
基于Tensorrt的yolov5 实例分割源码
2023-04-18
各种卷积计算性能对比(Conv,DwConv,GhostConv,PConv,DSConv,DCNV)
2023-03-26
基于yolov5的PTQ和QAT量化完整代码
2023-03-18
图像分割FCN算法的源码及项目实战
2023-02-04
YOLOX原理及无人机检测项目实战源码
2022-11-04
模型轻量化-YOLOv5无损剪枝
2022-10-28
基于yolov5的目标检测和双目测距源码
2022-10-28
pytorch多GPU并行训练教程及源码
2022-10-16
基于yolov5的知识蒸馏实战源码
2022-10-13
makefile从入门到项目编译实战
2022-10-13
图像分类MobileNet系列源代码:v1-v3
2022-07-05
深度学习图像分类花朵数据集
2022-07-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人