自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(42)
  • 收藏
  • 关注

原创 自驾总结_Prediction

预测模块承接上游感知模块,结合高精地图和主车的定位信息,对周边障碍物的未来运动情况进行预测,最终输出各个在一段时间内的预测路径,提供给规划模块,帮助自车提前做出决策,从而降低交通事故的发生率。

2025-06-05 14:03:47 654

原创 自驾总结_Routing

根据规划请求完成P2P的车道级导航,并且实现路由切片与车道中心参考线下发,能够完成L2~L4自动驾驶场景下的导航规划工作,支持3D场景下的导航,能够支持感知与高精度地图元素的融合。

2025-06-04 14:04:37 544

原创 自驾总结_Localization

Localizaiton的主要功能是根据车身姿态信息,Lidar数据,点云高精度地图,组合导航信息,在点云高精度地图覆盖的区域内(时速<30km/h)完成高精度的位姿输出。在场景适应能力上,着重解决整体区域有部分RTK覆盖,但存在密集高楼GPS信号不好区域(半封闭或者全封闭场景)

2025-06-03 17:29:17 800

原创 自驾总结Module(综述)

完成车辆运动和上装控制的交互和状态反馈,支持时间同步。•订阅激活去激活消息;•订阅车辆控制消息;•订阅上装控制消息;•订阅整车心跳故障反馈消息;•发布底盘反馈。•发布上装状态反馈;•发布心跳消息。

2025-05-26 15:42:07 592

原创 LangChain:多任务应用开发---0518

LangChain中的tools(serpapi,llm-math)Case:搭建故障诊断Agent(LangChain Agent)Case:工具链组合设计(LangChain Agent)Case:动手搭建本地知识智能客服(理解ReAct)LangChain中的Memory。LangChain基本概念。适用LCEL构建任务链。AI Agent对比。

2025-05-18 17:18:54 94

原创 Text2SQL:自助式数据报表开发---0517

写法3通过其清晰的结构、完整的信和高可读性,能够更有效地引导模型生成准确的 SQL 查询。这种模板化的方法不仅提高了生成结果的质量,还便于维护和扩展,因此在实际应用中可能表现最佳。补全代码能力。

2025-05-18 09:49:13 702

原创 01感知模块介绍

识别信号灯,道路绑定关系,不需要知道红绿灯距离我们多远,因此一个2D目标检测就可以完成;

2025-05-12 09:13:33 770

原创 简单的强化学习举例

首先,需要根据具体的任务需求来定义奖励函数。

2025-05-11 21:00:05 353

原创 RAG高级技术与最佳实践---0503

生成社区报告,了解知识图谱在各个粒度级别上的高层次情况,使用LLM生成每个社区的摘要。

2025-05-08 00:21:27 1009

原创 1)初探强化学习(读书笔记)

动手学强化学习的读书笔记

2025-04-28 13:38:05 547

原创 RAG技术与应用---0426

检索增强生成,是一种结合信息检索(Retrieval)和文本生成(Generation)的技术RAG技术通过实时检索相关文档或信息,并将其作为上下文输入到生成模型中,从而提高生成结果的时效性和准确性。

2025-04-26 20:56:04 595

原创 1)强化学习入门

网页连接_需要认真学习#================【强化学习】40分钟透彻理解 理论+实践+改进======================倒阶摆:obs_dim 4 action_dim 2 左 右强化学习:通过正反馈和负反馈,使得智能体学会一个策略,最大化累计奖励,即时奖励reward,我们将累计的奖励称为回报,将回报的期望作为优化目标。:action根据environment-->reward 即时回馈-->即时回馈进行累加然后对Return期望。

2025-04-26 09:56:41 681

原创 深度学习 backbone,neck,head网络关键组成

如边缘,纹理,形状等低级特征,以及物体类别,语义等高级特征。ResNet:通过残差连接解决深层网络梯度小时问题,广泛用于图像分类,目标检测等任务,例如在图像分类中,ResNet提取图像的丰富特征,最后通过全连接层输出类别概率。用于预测候选区域边界框的偏移量,调整其位置和大小,使 边界框更精确地匡助目标,输出的是坐标,宽度,高度等维度变化量,不涉及类别判断。,如分类,目标检测,语义分割等,它将neck处理后的特征映射到任务所需输出空间(如类别概率,边界框坐标,像素级分割结果等)

2025-04-24 10:06:47 1026

原创 理想MindVLA学习解读

基于扩散模型的自车+周车闭环轨迹。从头训练的LLM模型底座。

2025-04-24 09:08:51 163

原创 Embedding与向量数据库__0422

CASE:基于内容的推荐什么是N-Gram余弦相似度计算为酒店建立内容推荐系统什么事EmbeddingWord2Vec进行词向量训练。

2025-04-23 00:05:46 940

原创 Cursor可视化大屏搭建__0420

主题:用Cursor怎么进行数据洞察,做AI预测化内容。

2025-04-21 23:15:19 170

原创 SparseDrive---论文阅读

A: 这篇论文提出了SparseDrive,一种新颖的端到端自动驾驶范式,旨在通过稀疏场景表示和优化的任务设计来提高自动驾驶系统的性能和效率。问题识别:传统的自动驾驶系统采用模块化设计,导致信息丢失和误差累积。现有的端到端方法在性能和效率上,特别是在规划安全性方面,仍有不足。SparseDrive范式:提出了SparseDrive,一种新的端到端自动驾驶范式,它利用稀疏表示来统一处理检测、跟踪、在线映射、运动预测和规划任务。关键组件对称稀疏感知模块:通过结构对称性,同时处理检测、跟踪和在线映射任务。

2025-04-16 23:25:26 1216 1

原创 CVPR‘25 SOTA——GoalFlow论文精读

通过加权融合这两个评分,选择评分最高的目标点作为轨迹生成的引导信息,从而确保生成的轨迹既符合实际道路情况,又接近真实的驾驶意图。:现有的一些方法使用引导信息(如预定义的目标点)来生成轨迹,但这些引导信息与真实轨迹之间的差距可能导致生成低质量的轨迹。:目标点为轨迹生成提供了明确的方向指引,使得生成的轨迹朝着目标点方向发展,避免了轨迹的随意发散。:通过可行驶区域合规评分的筛选,确保所选目标点位于可行驶区域内,从而保证生成的轨迹不会驶出道路或进入禁止通行的区域,增强了轨迹的安全性。

2025-04-14 23:25:34 1006

原创 Cursor编程-从入门到精通__0409

早期的Github Copilot 最近更新了,支持Agent编程,字节跳动Trae使用(免费),但成熟程度不如Cursor,Cursor前50次免费1,Cursor = VSCode 二次开发,IDE级别2,Copilot = VSCode的插件。

2025-04-09 23:39:22 457

原创 全局端对端问题及应对方案

1)大算力消耗及存储资源,通讯带宽,都无法满足落地需求2)无辅助模块,比如缺少了应对交通规则的地图模块3)3D空间感知能力不足,又比如遮挡,横穿,长距离远望,切出,后向来车4)长序列记忆,能长期跟踪目标(行人运动)或复杂交互场景(比如多车博弈),路口变道交通标识5)轨迹实时性和轨迹长度,8S,max100ms-cycle(其实可能实际要更快点),即如何解决车端实时推理(是整个链路的CycleTime评估),无法做到高频响应。

2025-04-09 21:51:12 662

原创 Prompt工程:设计与优化__0407

架构设计方面DeepSeek Moe架构:在推理时仅激活了部分专家,避免了激活所有参数带来的计算资源浪费MLA架构:MLA通过降秩KV矩阵,减少了显存消耗。训练策略方面多token预测(MTP)目标:在训练过程中采用多token预测目标,即在每个位置上预测多个未来token,增加了训练信号的密度,提高了数据效率。混合精度训练框架:在训练中,对于占据大量计算量的通用矩阵乘法(GEMM)操作,采用FP8精度执行,同时,通过细粒度化策略和高精度累积过程,解决了低精度训练中出现的量化误差问题。

2025-04-08 11:34:29 857

原创 AI大模型基本原理与deepseek使用__0407

AI的核心目标是让机器能够执行通常需要人类智能的任务,例如语言理解,图像识别,复杂问题等解决,早期阶段:以规则为基础的专家系统,依赖预设的逻辑和规则机器学习时代:通过数据训练模型,使机器能够从数据中学习规律深度学习时代:利用神经网络模拟人脑的复杂结构,处理更复杂的任务大模型时代:以大规模数据和算力为基础,构建通用性强,性能卓越的AI模型1970无人驾驶,2012AlexNet,2016AlphoGo,2022Chat GPT。

2025-04-07 11:08:31 307

原创 Diffusion-Based Planning for Autonomous Driving with Flexible Guidance论文细读

未来轨迹生成任务:将自动驾驶中的规划任务重新定义为未来轨迹生成任务,联合生成自我车辆的规划和邻近车辆的预测。

2025-04-04 15:04:50 911

原创 ORION:基于VLM引导动作生成的端到端框架——论文精度

基于大语言模型的框架,解决了时空问题

2025-04-03 21:46:34 175

原创 RuleBase 轨迹评估器

a)如果当前遍历的这个横向轨迹点的横向偏移和轨迹初始横向偏移符号相反,意思就是横向偏移一左一右的话,那么就对cost的平方和cost的绝对值进行惩罚时采用weight_opposite_side_offset相反偏移权重系数为10;b)若当前遍历的这个横向轨迹点的横向偏移和轨迹初始横向偏移符号相同,那么就对cost的平方和cost的绝对值进行惩罚时采用FLAGS_weight_same_side_offset相同方向偏移权重系数为1.0。如果存在停车指令,相对大的车速,其对应的轨迹cost就越大;

2025-03-28 16:49:31 918

原创 AI学习路径与规划_3_25

已经工作的人--->职场带有任务,关联场景。

2025-03-25 21:39:17 325

原创 Hydra-MDP++:Advancing End-to-End Driving via Expert-Guided Hydra-Distillation 学习

Hydra-MDP原来是基于专家引导Hydra-Distillation推进端对端驾驶,Hydra-MDP++引入了一种新的教师-学生知识蒸馏框架,该框架有多头解码器,它可以从人类演示和基于规则的专家处学习。Hydra-MDP++直接处理原始图像,而不依赖于感知信号,结果证明了其在维持计算效率同时能够有效地处理各种驾驶场景,该框架使用ResNet-34网络(没有复杂组件),并且加入扩展的评估指标(包括交通信号灯合规(TL),车道保持能力(LK)和可扩展舒适性(EC))。

2025-03-24 15:01:37 200

原创 QA标注提示

针对VLM等大语言模型进行文本问答QA标注论文聚类

2025-03-20 08:51:08 747

原创 特斯拉FSD详解

纯视觉方案:采用8个摄像头(360°视野,最远250m探测),用OccupancyNetwork建模环境并预测运动,BEV生成鸟瞰图辅助决策。使用Transformer处理连续帧的视觉图像组成的时序数据,端到端训练从图像到控制指令(转向、加速减速)。

2025-03-18 10:30:06 831

原创 &1Transformer模型

4大特征提取器:多层感知机(MLP),卷积神经网络(CNN),递归神经网络(RNN),注意力机制(Transformer)a)Seq2Seq是Transformer的基本结构,b)关注Transformer模型主要是注意力层,由谷歌八子attention is all you needc)ViT(VisionTransformer)模型,抛弃了CNN,单纯运用Transformer编码器进行特征提取。

2025-03-05 23:31:17 432

原创 多轨迹评估优化

假设我们有一个餐厅评分系统,用于评估不同餐厅的综合评分。:顾客满意度、卫生评分、菜品质量,这些指标的乘积反映了餐厅的基本质量。:顾客满意度、卫生评分、菜品质量,这些指标的乘积反映了餐厅的基本质量。:环境舒适度、服务速度,这些指标的加权平均值反映了餐厅的额外体验。:环境舒适度、服务速度,这些指标的加权平均值反映了餐厅的额外体验。计算每家餐厅的乘法指标(顾客满意度、卫生评分、菜品质量)的乘积。:综合考虑了乘法指标和加权指标,给出了每家餐厅的综合评分。:综合考虑了乘法指标和加权指标,给出了每家餐厅的综合评分。

2025-03-04 13:49:59 255

原创 强化学习_2_PPO(Proximal Policy Optimization)

1)目标函数使得价值收益最大2)求解梯度上升,但是数据不好去取,3)采用On Policy和Off Policy,用上一轮结果作为当前一轮的输入。

2025-02-27 21:29:19 865

原创 强化学习_1_综述

为了部落

2025-02-26 23:06:11 1014

原创 大语言模型---第六章 强化学习

奖励模型:通过为文本序列的最后一个标记分配标量奖励值,评估生成文本的质量。配对比较数据集:使用首选样本和非首选样本的配对比较数据集,训练奖励模型。损失函数:通过最小化损失函数,模型可以学习到如何区分高质量和低质量的生成文本。b.2)模仿学习:通过使用输入和期望输出的配对数据,模型可以学习从输入到输出的映射。损失函数:结合了奖励模型损失和自回归语言模型损失,通过最小化损失函数,模型可以同时提高区分能力和生成能力。b.3)引入一个附加项到奖励函KL 散度。

2025-02-25 10:29:54 830

原创 大语言模型---第五章 有监督微调

有监督微调(Supervised Finetuning SFT)指令微调(Instruction Tunning)是指在已经训练好的语言模型基础上,通过使用有标注的特定任务数据进行进一步的微调,从而使得模型具备遵循指令的能力大模型的提示学习,语境学习能力-->高效模型微调及大语言上下文窗口扩展方法-->指令数据的一般格式与构建方式和有监督微调的代码实践1)提示学习和语境学习提示学习(Prompt-based Learning)不同于传统的监督学习,它直接利用了在大量原始文本上进。

2025-02-24 09:32:54 982

原创 大语言模型---第四章 分布式训练

若向并行加速,要从数据和模型俩个维度进行考虑,首先可以对数据进行切分(Partition),并将同一个模型复制到多个设备上,并行执行不同的数据分片,这种方式通常被称为数据并行(Data Parallelism,DP)。在分布式训练系统环境下需要将一个模型训练任务拆分成多个子任务,并将子任务分发给多个计算设备,从而解决资源瓶颈,涉及到集群架构,并行策略,模型加过,内存优化,计算优化等一些列的技术栈。通过结合不同的并行策略,混合并行可以充分发挥各种并行策略的优点,以最大程度地提高计算性能和效率。

2025-02-23 22:30:06 801

原创 大语言模型---第三章 语言模型训练数据

针对分类探查(Classifier Probing)、信息论探查(Info-theoretic Probing)、无监督相对可接受性判断(Unsupervised Relative Acceptability Judgment)以及应用于自然语言理解任务的微调(Fine-tuning on NLU Tasks)等四类任务,基于不同量级预训练数据的RoBERTa模型在上述不同类型任务上的效果进行了实验验证和分析。数据质量不言而喻很重要,对于使用的低质量数据过滤方法:基于分类器的方法,和基于启发式的方法。

2025-02-23 11:14:53 699

原创 大语言模型---第二章 大语言模型基础

1)综述语言模型目标是建模自然语言的概率分布,大量研究从n元语言模型,神经语言模型NLM,以及预训练语言模型PLM等这些研究不同阶段对自然语言处理任务有着重要作用,Transformer出现取得了突破性的进展。Transformer架构熟知-->在此基础上介绍生成预训练语言模型GPT-->大语言模型结构2)Transformer模型Transformer 结构完全通过注意力机制完成对源语言序列和目标语言序列全局依赖的建模。

2025-02-22 22:56:53 818

原创 大语言模型---第一章 绪论

探索不针对单一任务进行微调的情况下如何能够发挥大规模语言模型的能力,从直接利用大规模语言模型进行零样本和少样本学习的基础上,逐渐扩展到利用生成式框架针对大量任务进行有监督微调的方法,有效提升了模型的性能。缩放法则(Scaling Laws)指出模型的性能依赖于模型的规模,包括:参数数量,数据集大小,和计算量,模型的效果会随着三者指数增加而线性提高,模型损失(Loss)值伴随着模型规模指数增大而线性降低。时,不需要了解太多的任务细节,不需要设计特定的神经网络结构,只需要“微调”预训练模型,

2025-02-21 16:20:19 461

原创 大语言模型---前言

大语言模型的读书笔记,快速进行简练提取知识点

2025-02-21 13:52:50 128

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除