- 博客(42)
- 收藏
- 关注
原创 自驾总结_Prediction
预测模块承接上游感知模块,结合高精地图和主车的定位信息,对周边障碍物的未来运动情况进行预测,最终输出各个在一段时间内的预测路径,提供给规划模块,帮助自车提前做出决策,从而降低交通事故的发生率。
2025-06-05 14:03:47
654
原创 自驾总结_Routing
根据规划请求完成P2P的车道级导航,并且实现路由切片与车道中心参考线下发,能够完成L2~L4自动驾驶场景下的导航规划工作,支持3D场景下的导航,能够支持感知与高精度地图元素的融合。
2025-06-04 14:04:37
544
原创 自驾总结_Localization
Localizaiton的主要功能是根据车身姿态信息,Lidar数据,点云高精度地图,组合导航信息,在点云高精度地图覆盖的区域内(时速<30km/h)完成高精度的位姿输出。在场景适应能力上,着重解决整体区域有部分RTK覆盖,但存在密集高楼GPS信号不好区域(半封闭或者全封闭场景)
2025-06-03 17:29:17
800
原创 自驾总结Module(综述)
完成车辆运动和上装控制的交互和状态反馈,支持时间同步。•订阅激活去激活消息;•订阅车辆控制消息;•订阅上装控制消息;•订阅整车心跳故障反馈消息;•发布底盘反馈。•发布上装状态反馈;•发布心跳消息。
2025-05-26 15:42:07
592
原创 LangChain:多任务应用开发---0518
LangChain中的tools(serpapi,llm-math)Case:搭建故障诊断Agent(LangChain Agent)Case:工具链组合设计(LangChain Agent)Case:动手搭建本地知识智能客服(理解ReAct)LangChain中的Memory。LangChain基本概念。适用LCEL构建任务链。AI Agent对比。
2025-05-18 17:18:54
94
原创 Text2SQL:自助式数据报表开发---0517
写法3通过其清晰的结构、完整的信和高可读性,能够更有效地引导模型生成准确的 SQL 查询。这种模板化的方法不仅提高了生成结果的质量,还便于维护和扩展,因此在实际应用中可能表现最佳。补全代码能力。
2025-05-18 09:49:13
702
原创 RAG技术与应用---0426
检索增强生成,是一种结合信息检索(Retrieval)和文本生成(Generation)的技术RAG技术通过实时检索相关文档或信息,并将其作为上下文输入到生成模型中,从而提高生成结果的时效性和准确性。
2025-04-26 20:56:04
595
原创 1)强化学习入门
网页连接_需要认真学习#================【强化学习】40分钟透彻理解 理论+实践+改进======================倒阶摆:obs_dim 4 action_dim 2 左 右强化学习:通过正反馈和负反馈,使得智能体学会一个策略,最大化累计奖励,即时奖励reward,我们将累计的奖励称为回报,将回报的期望作为优化目标。:action根据environment-->reward 即时回馈-->即时回馈进行累加然后对Return期望。
2025-04-26 09:56:41
681
原创 深度学习 backbone,neck,head网络关键组成
如边缘,纹理,形状等低级特征,以及物体类别,语义等高级特征。ResNet:通过残差连接解决深层网络梯度小时问题,广泛用于图像分类,目标检测等任务,例如在图像分类中,ResNet提取图像的丰富特征,最后通过全连接层输出类别概率。用于预测候选区域边界框的偏移量,调整其位置和大小,使 边界框更精确地匡助目标,输出的是坐标,宽度,高度等维度变化量,不涉及类别判断。,如分类,目标检测,语义分割等,它将neck处理后的特征映射到任务所需输出空间(如类别概率,边界框坐标,像素级分割结果等)
2025-04-24 10:06:47
1026
原创 Embedding与向量数据库__0422
CASE:基于内容的推荐什么是N-Gram余弦相似度计算为酒店建立内容推荐系统什么事EmbeddingWord2Vec进行词向量训练。
2025-04-23 00:05:46
940
原创 SparseDrive---论文阅读
A: 这篇论文提出了SparseDrive,一种新颖的端到端自动驾驶范式,旨在通过稀疏场景表示和优化的任务设计来提高自动驾驶系统的性能和效率。问题识别:传统的自动驾驶系统采用模块化设计,导致信息丢失和误差累积。现有的端到端方法在性能和效率上,特别是在规划安全性方面,仍有不足。SparseDrive范式:提出了SparseDrive,一种新的端到端自动驾驶范式,它利用稀疏表示来统一处理检测、跟踪、在线映射、运动预测和规划任务。关键组件对称稀疏感知模块:通过结构对称性,同时处理检测、跟踪和在线映射任务。
2025-04-16 23:25:26
1216
1
原创 CVPR‘25 SOTA——GoalFlow论文精读
通过加权融合这两个评分,选择评分最高的目标点作为轨迹生成的引导信息,从而确保生成的轨迹既符合实际道路情况,又接近真实的驾驶意图。:现有的一些方法使用引导信息(如预定义的目标点)来生成轨迹,但这些引导信息与真实轨迹之间的差距可能导致生成低质量的轨迹。:目标点为轨迹生成提供了明确的方向指引,使得生成的轨迹朝着目标点方向发展,避免了轨迹的随意发散。:通过可行驶区域合规评分的筛选,确保所选目标点位于可行驶区域内,从而保证生成的轨迹不会驶出道路或进入禁止通行的区域,增强了轨迹的安全性。
2025-04-14 23:25:34
1006
原创 Cursor编程-从入门到精通__0409
早期的Github Copilot 最近更新了,支持Agent编程,字节跳动Trae使用(免费),但成熟程度不如Cursor,Cursor前50次免费1,Cursor = VSCode 二次开发,IDE级别2,Copilot = VSCode的插件。
2025-04-09 23:39:22
457
原创 全局端对端问题及应对方案
1)大算力消耗及存储资源,通讯带宽,都无法满足落地需求2)无辅助模块,比如缺少了应对交通规则的地图模块3)3D空间感知能力不足,又比如遮挡,横穿,长距离远望,切出,后向来车4)长序列记忆,能长期跟踪目标(行人运动)或复杂交互场景(比如多车博弈),路口变道交通标识5)轨迹实时性和轨迹长度,8S,max100ms-cycle(其实可能实际要更快点),即如何解决车端实时推理(是整个链路的CycleTime评估),无法做到高频响应。
2025-04-09 21:51:12
662
原创 Prompt工程:设计与优化__0407
架构设计方面DeepSeek Moe架构:在推理时仅激活了部分专家,避免了激活所有参数带来的计算资源浪费MLA架构:MLA通过降秩KV矩阵,减少了显存消耗。训练策略方面多token预测(MTP)目标:在训练过程中采用多token预测目标,即在每个位置上预测多个未来token,增加了训练信号的密度,提高了数据效率。混合精度训练框架:在训练中,对于占据大量计算量的通用矩阵乘法(GEMM)操作,采用FP8精度执行,同时,通过细粒度化策略和高精度累积过程,解决了低精度训练中出现的量化误差问题。
2025-04-08 11:34:29
857
原创 AI大模型基本原理与deepseek使用__0407
AI的核心目标是让机器能够执行通常需要人类智能的任务,例如语言理解,图像识别,复杂问题等解决,早期阶段:以规则为基础的专家系统,依赖预设的逻辑和规则机器学习时代:通过数据训练模型,使机器能够从数据中学习规律深度学习时代:利用神经网络模拟人脑的复杂结构,处理更复杂的任务大模型时代:以大规模数据和算力为基础,构建通用性强,性能卓越的AI模型1970无人驾驶,2012AlexNet,2016AlphoGo,2022Chat GPT。
2025-04-07 11:08:31
307
原创 Diffusion-Based Planning for Autonomous Driving with Flexible Guidance论文细读
未来轨迹生成任务:将自动驾驶中的规划任务重新定义为未来轨迹生成任务,联合生成自我车辆的规划和邻近车辆的预测。
2025-04-04 15:04:50
911
原创 RuleBase 轨迹评估器
a)如果当前遍历的这个横向轨迹点的横向偏移和轨迹初始横向偏移符号相反,意思就是横向偏移一左一右的话,那么就对cost的平方和cost的绝对值进行惩罚时采用weight_opposite_side_offset相反偏移权重系数为10;b)若当前遍历的这个横向轨迹点的横向偏移和轨迹初始横向偏移符号相同,那么就对cost的平方和cost的绝对值进行惩罚时采用FLAGS_weight_same_side_offset相同方向偏移权重系数为1.0。如果存在停车指令,相对大的车速,其对应的轨迹cost就越大;
2025-03-28 16:49:31
918
原创 Hydra-MDP++:Advancing End-to-End Driving via Expert-Guided Hydra-Distillation 学习
Hydra-MDP原来是基于专家引导Hydra-Distillation推进端对端驾驶,Hydra-MDP++引入了一种新的教师-学生知识蒸馏框架,该框架有多头解码器,它可以从人类演示和基于规则的专家处学习。Hydra-MDP++直接处理原始图像,而不依赖于感知信号,结果证明了其在维持计算效率同时能够有效地处理各种驾驶场景,该框架使用ResNet-34网络(没有复杂组件),并且加入扩展的评估指标(包括交通信号灯合规(TL),车道保持能力(LK)和可扩展舒适性(EC))。
2025-03-24 15:01:37
200
原创 特斯拉FSD详解
纯视觉方案:采用8个摄像头(360°视野,最远250m探测),用OccupancyNetwork建模环境并预测运动,BEV生成鸟瞰图辅助决策。使用Transformer处理连续帧的视觉图像组成的时序数据,端到端训练从图像到控制指令(转向、加速减速)。
2025-03-18 10:30:06
831
原创 &1Transformer模型
4大特征提取器:多层感知机(MLP),卷积神经网络(CNN),递归神经网络(RNN),注意力机制(Transformer)a)Seq2Seq是Transformer的基本结构,b)关注Transformer模型主要是注意力层,由谷歌八子attention is all you needc)ViT(VisionTransformer)模型,抛弃了CNN,单纯运用Transformer编码器进行特征提取。
2025-03-05 23:31:17
432
原创 多轨迹评估优化
假设我们有一个餐厅评分系统,用于评估不同餐厅的综合评分。:顾客满意度、卫生评分、菜品质量,这些指标的乘积反映了餐厅的基本质量。:顾客满意度、卫生评分、菜品质量,这些指标的乘积反映了餐厅的基本质量。:环境舒适度、服务速度,这些指标的加权平均值反映了餐厅的额外体验。:环境舒适度、服务速度,这些指标的加权平均值反映了餐厅的额外体验。计算每家餐厅的乘法指标(顾客满意度、卫生评分、菜品质量)的乘积。:综合考虑了乘法指标和加权指标,给出了每家餐厅的综合评分。:综合考虑了乘法指标和加权指标,给出了每家餐厅的综合评分。
2025-03-04 13:49:59
255
原创 强化学习_2_PPO(Proximal Policy Optimization)
1)目标函数使得价值收益最大2)求解梯度上升,但是数据不好去取,3)采用On Policy和Off Policy,用上一轮结果作为当前一轮的输入。
2025-02-27 21:29:19
865
原创 大语言模型---第六章 强化学习
奖励模型:通过为文本序列的最后一个标记分配标量奖励值,评估生成文本的质量。配对比较数据集:使用首选样本和非首选样本的配对比较数据集,训练奖励模型。损失函数:通过最小化损失函数,模型可以学习到如何区分高质量和低质量的生成文本。b.2)模仿学习:通过使用输入和期望输出的配对数据,模型可以学习从输入到输出的映射。损失函数:结合了奖励模型损失和自回归语言模型损失,通过最小化损失函数,模型可以同时提高区分能力和生成能力。b.3)引入一个附加项到奖励函KL 散度。
2025-02-25 10:29:54
830
原创 大语言模型---第五章 有监督微调
有监督微调(Supervised Finetuning SFT)指令微调(Instruction Tunning)是指在已经训练好的语言模型基础上,通过使用有标注的特定任务数据进行进一步的微调,从而使得模型具备遵循指令的能力大模型的提示学习,语境学习能力-->高效模型微调及大语言上下文窗口扩展方法-->指令数据的一般格式与构建方式和有监督微调的代码实践1)提示学习和语境学习提示学习(Prompt-based Learning)不同于传统的监督学习,它直接利用了在大量原始文本上进。
2025-02-24 09:32:54
982
原创 大语言模型---第四章 分布式训练
若向并行加速,要从数据和模型俩个维度进行考虑,首先可以对数据进行切分(Partition),并将同一个模型复制到多个设备上,并行执行不同的数据分片,这种方式通常被称为数据并行(Data Parallelism,DP)。在分布式训练系统环境下需要将一个模型训练任务拆分成多个子任务,并将子任务分发给多个计算设备,从而解决资源瓶颈,涉及到集群架构,并行策略,模型加过,内存优化,计算优化等一些列的技术栈。通过结合不同的并行策略,混合并行可以充分发挥各种并行策略的优点,以最大程度地提高计算性能和效率。
2025-02-23 22:30:06
801
原创 大语言模型---第三章 语言模型训练数据
针对分类探查(Classifier Probing)、信息论探查(Info-theoretic Probing)、无监督相对可接受性判断(Unsupervised Relative Acceptability Judgment)以及应用于自然语言理解任务的微调(Fine-tuning on NLU Tasks)等四类任务,基于不同量级预训练数据的RoBERTa模型在上述不同类型任务上的效果进行了实验验证和分析。数据质量不言而喻很重要,对于使用的低质量数据过滤方法:基于分类器的方法,和基于启发式的方法。
2025-02-23 11:14:53
699
原创 大语言模型---第二章 大语言模型基础
1)综述语言模型目标是建模自然语言的概率分布,大量研究从n元语言模型,神经语言模型NLM,以及预训练语言模型PLM等这些研究不同阶段对自然语言处理任务有着重要作用,Transformer出现取得了突破性的进展。Transformer架构熟知-->在此基础上介绍生成预训练语言模型GPT-->大语言模型结构2)Transformer模型Transformer 结构完全通过注意力机制完成对源语言序列和目标语言序列全局依赖的建模。
2025-02-22 22:56:53
818
原创 大语言模型---第一章 绪论
探索不针对单一任务进行微调的情况下如何能够发挥大规模语言模型的能力,从直接利用大规模语言模型进行零样本和少样本学习的基础上,逐渐扩展到利用生成式框架针对大量任务进行有监督微调的方法,有效提升了模型的性能。缩放法则(Scaling Laws)指出模型的性能依赖于模型的规模,包括:参数数量,数据集大小,和计算量,模型的效果会随着三者指数增加而线性提高,模型损失(Loss)值伴随着模型规模指数增大而线性降低。时,不需要了解太多的任务细节,不需要设计特定的神经网络结构,只需要“微调”预训练模型,
2025-02-21 16:20:19
461
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人