追风赶月。-CSDN博客

原创【大模型学习】利用最新版Langchain-Chatchat搭建个人知识库问答LLM

如果存在此选项，则使用它。修改配置文件，需要根据步骤2. 模型推理框架并加载模型中选用的模型推理框架与加载的模型进行模型接入配置，具体参考model_settings.yaml中的注释。默认知识库位于CHATCHAT_ROOT/data/knowledge_base，如果你想把知识库放在不同的位置，或者想连接现有的知识库，可以在这里修改对应目录即可。-i, --incremental：本地文件夹中存在文件的增量更新矢量存储，数据库中不存在。--trim-db：删除本地数据库中不存在的文档文件夹中的文档。

2024-07-19 15:59:28 799

原创【书生大模型实战】L0-Git 基础知识

每位参与者提交一份自我介

2024-07-16 10:13:50 250

原创【书生大模型实战】L0-Python

【书生大模型实战】L0-Python。

2024-07-16 09:24:19 221

原创【书生大模型实战】L0-Linux

【书生大模型实战】L0-Linux

2024-07-15 18:11:00 627

原创【开放词汇分割】Side Adapter Network for Open-Vocabulary Semantic Segmentation

Side Adapter Network (SAN) 是一个端到端的框架，旨在充分利用CLIP模型在开放词汇语义分割中的能力。SAN由一个轻量级的视觉Transformer实现，可以利用CLIP的特征，并且有两个输出：掩码提案和用于掩码识别的注意力偏差。这些注意力偏差应用于CLIP的自注意力机制，以识别掩码提案的类别。在实践中，将浅层 CLIP 层的特征融合到 SAN 中，并将注意力偏差应用于更深的 CLIP 层以进行识别。通过这种单前向设计，可以最大限度地降低 CLIP 模型的成本。SAN的详细架构。

2024-07-01 17:05:59 609

原创【机器学习】gumbel softmax的介绍

Gumbel-Softmax 是一种技术，用于在离散选择中引入可微分的近似。这对于需要在神经网络中进行离散采样（如分类任务或生成离散数据）而不破坏梯度计算非常有用。Gumbel-Softmax 可以看作是对经典的 Softmax 函数的一种扩展，结合了 Gumbel 噪声，用于逼近离散的 one-hot 向量，同时保持梯度的可计算性。在许多机器学习任务中，需要从一个离散的分布中采样。例如，在强化学习或生成模型中，可能需要从一组离散的动作或词汇中进行选择。

2024-06-25 18:49:11 1034

原创【PyTorch函数解析】einsum的用法示例

einsum 是一个非常强大的函数，用于执行张量（Tensor）运算。它的名称来源于爱因斯坦求和约定（Einstein summation convention），在PyTorch中，einsum 可以方便地进行多维数组的操作和计算。在Transfomer中，einsum用的非常多，比如使用 einsum 实现自注意力机制中注意力权重的获取，也就是Q和K的内积：Q（Query）：形状为 (batch_size, seq_len, d_k)

2024-06-25 18:27:48 875

原创【开放词汇分割】GroupViT: Semantic Segmentation Emerges from Text Supervision

在视觉场景理解中，分组和识别是关键的任务，常见于目标检测和语义分割等应用。传统的深度学习方法通常依赖于像素级的标注，通过全卷积网络（Fully Convolutional Networks, FCNs）直接在输出层进行像素级的分类。然而，这些方法存在两个主要问题。

2024-06-25 00:06:13 958

原创【多模态融合】IS-Fusion: Instance-Scene Collaborative Fusion for Multimodal 3D Object Detection

3D目标检测在自动驾驶和机器人等应用中是一个关键任务。尽管点云提供了关于3D空间的宝贵几何信息，但通常缺乏详细的纹理描述且分布稀疏，特别是在远距离场景中。为了克服这些限制，近期的趋势是通过融合点云和多视角图像的信息进行多模态3D目标检测。图像模态提供了详细的纹理和密集的语义信息，补充了稀疏的点云，从而增强了3D感知能力。

2024-06-04 00:50:10 849

原创【模型架构】学习最火热的Mamba、Vision Mamba、MambaOut模型

状态空间模型（State Space Model, SSM）是一种用于描述动态系统的数学模型，特别适用于时间序列分析和控制系统设计。它将系统的状态表示为一个状态向量，并通过状态方程和观测方程描述系统的动态行为和观测过程。因此，SSM是可以用于描述这些状态表示并根据某些输入预测其下一个状态可能是什么的模型，这就符合了作为深度学习模型基础架构的条件。SSM的计算示意图具体来说，可以用下面的公式描述上述过程：状态变量：描述系统当前状态的变量。状态变量通常是一个向量，包含系统当前时刻的所有信息。

2024-06-01 20:43:20 1604

原创【模型架构】学习RNN、LSTM、TextCNN和Transformer以及PyTorch代码实现

在自然语言处理（NLP）领域，模型架构的不断发展极大地推动了技术的进步。从早期的循环神经网络（RNN）到长短期记忆网络（LSTM）、Transformer再到当下火热的Mamba（放在下一节），每一种架构都带来了不同的突破和应用。本文将详细介绍这些经典的模型架构及其在PyTorch中的实现，由于我只是门外汉（想扩展一下知识面），如果有理解不到位的地方欢迎评论指正～。个人感觉NLP的任务本质上是一个序列到序列的过程，给定输入序列，要通过一个函数实现映射，得到输出序列。

2024-05-31 20:25:32 1473 2

原创【多模态融合】SparseFusion: Fusing Multi-Modal Sparse Representations for Multi-Sensor 3D Object Detection

自动驾驶汽车依靠激光雷达和摄像头等多个传感器来感知周围环境。然而，两个传感器获取的同一物理场景的表示通常存在显着差异，因为 LiDAR 传感器使用 360 度旋转捕获点云，而相机从没有深度感的透视图捕获图像。这阻碍了激光雷达和相机模式的有效和高效融合。为了应对这一挑战，提出了多传感器融合算法来寻找多模态数据之间的对应关系，将它们转换并融合到统一的场景表示空间中。

2024-05-27 22:24:02 598

原创【模型架构】目标检测中的单阶段、两阶段、Anchor-Free和Anchor-based，以Faster-RCNN、YOLO、CornerNet、CenterNet为例

目标检测算法中，可以按照单阶段（One-Stage）和两阶段（Two-Stage）进行划分，也可以按照Anchor-Free和Anchor-based进行划分类型。不过，目前更流行的提法是后者。

2024-05-25 16:26:19 1132

原创【问题解决】ImportError: generic_type: cannot initialize type “ExternalAllocator“

我的环境是Ubuntu20.04，Cuda版本是11.4，在复现OpenPCDet的时候遇到了下面问题：

2024-05-22 16:59:32 333

原创【多模态融合】Cross Modal Transformer: Towards Fast and Robust 3D Object Detection

多传感器融合在自动驾驶系统中展示了其巨大优势。不同的传感器通常能提供互补的信息。例如，摄像头以透视视角捕捉信息，图像中包含丰富的语义特征，而点云则提供更多的定位和几何信息。充分利用不同传感器有助于减少不确定性，从而进行准确和鲁棒的预测。然而，由于不同模态的传感器数据在分布上的巨大差异，融合这些多模态数据一直是个挑战。当前的主流方法通常通过构建统一的鸟瞰图（BEV）表示来进行多模态特征融合，或通过查询令牌（Transformer架构）来实现多模态融合。

2024-05-20 17:43:38 1206

原创【学术工具】Ubuntu环境利用bypy进行无图形化快速下载文件

近日使用百度网盘下载东西的时候遇到了一个问题，Ubuntu环境不知道为什么一直登录不进百度网盘。找了很多攻略都没有解决问题，以此考虑另辟蹊径。

2024-05-18 11:25:29 217

原创【3D目标检测】HENet: Hybrid Encoding for End-to-end Multi-task 3D Perception from Multi-view Cameras

目前的 3D 感知模型采用了大型图像编码器、高分辨率图像和长期时间序列输入，带来了显着的性能提升。然而，由于计算资源的限制，这些技术在训练和推理场景中通常不兼容。此外，现代自动驾驶系统更倾向于采用端到端的多任务3D感知框架，这可以简化整体系统架构并降低实现复杂度。然而，在端到端 3D 感知模型中联合优化多个任务时，任务之间经常会出现冲突。

2024-05-10 17:16:29 968

原创【3D目标检测】常见相关指标说明

mean Average Precision（平均精度均值），它是目标检测和信息检索等任务中的重要性能指标。mAP 通过综合考虑精度和召回率来衡量模型的总体性能。

2024-05-07 13:33:31 978 2

原创【多模态融合】SparseLIF: High-Performance Sparse LiDAR-Camera Fusion for 3D Object Detection

本文介绍了 SparseLIF，这是一种高性能完全稀疏多模态 3D 物体检测器，其性能优于所有其他密集对应检测器和稀疏检测器。 SparseLIF 通过在查询生成、特征采样和多模态融合三个方面增强丰富 LiDAR 和相机表示的感知来弥补性能差距。

2024-04-29 14:09:43 910

原创【3D目标检测】Sparse4D: Multi-view 3D Object Detection with Sparse Spatial-Temporal Fusion

本文贡献：（1）提出Sparse4D是第一个具有时域融合的稀疏查询多视图3D检测算法；（2）提出了一种可变形的4D聚合模块，可以灵活地完成多维（点、时间戳、视图和比例）特征的采样和融合。（3）引入了深度重加权模块，以缓解基于图像的 3D 感知系统中的不良问题。（4）在nuScenes 数据集上，Sparse4D优于所有现有的稀疏算法和大多数基于 BEV 的算法，并且在跟踪任务上也表现良好。

2024-04-23 17:36:39 1359

原创【多模态融合】BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Representation

自动驾驶系统上往往部署了多个传感器，例如，Waymo 的自动驾驶汽车有 29 个摄像头、6 个雷达和 5 个激光雷达。不同的传感器提供互补信号：例如，摄像头捕获丰富的语义信息，LiDAR 提供准确的空间信息，而雷达提供即时速度估计。因此，多传感器融合对于准确可靠的感知具有重要意义。

2024-04-18 18:32:51 853

原创【多模态融合】FUTR3D: A Unified Sensor Fusion Framework for 3D Detection

上海期智研究院、复旦大学、CMU、清华大学、MIT、Li Auto无。

2024-04-15 18:07:46 1016 1

原创【3D目标检测】MonoCD: Monocular 3D Object Detection with Complementary Depths

在本文中，作者建议增加深度的互补性来缓解该问题。这里的互补性是指这些预测不仅以高精度为目标，而且具有不同的误差标志。为此，提出了两种新颖的设计。首先，考虑到上述耦合现象，添加了一个新的深度预测分支，该分支利用来自整个图像的全局且有效的深度线索而不是局部线索来降低深度预测的相似性。它依赖于一幅图像中的所有对象大致位于同一平面上的全局信息。其次，为了进一步提高互补性，作者建议充分利用多个深度线索之间的几何关系来实现形式上的互补，利用同一几何量的错误可能对不同分支产生相反影响的事实（达到一个负负为正的效果～）

2024-04-09 00:58:18 964

空空如也

空空如也