自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

数据与算法架构提升之路专栏

大数据、大模型算法、具身智能、自动驾驶数据闭环

  • 博客(715)
  • 资源 (31)
  • 收藏
  • 关注

原创 突破认知边界:大模型研究者思维工具箱

为什么顶尖AI研究者总能突破常规边界?,他们的秘密在于:在其他人停止思考的地方继续深入探索。他们不满足于表面的答案,而是尝试从新的角度理解问题,找到切实可行的方法。

2025-04-23 20:22:56 422 1

原创 架构师的六大生存法则与价值创造

架构师在软件架构设计中需遵循六大生存法则,确保方案与企业目标一致,尊重人性,最大化商业价值,考虑技术生命周期,注入外部适应性,并在文化环境中生存。这些法则帮助架构师在资源限制下,通过技术洞察和设计,实现商业模式的创新和效率提升,同时要求架构师具备良知和勇气,以全局和长期视角推动架构成功,为公司创造持续的商业价值。

2024-04-26 22:27:32 1554 1

原创 《精力管理》阅读笔记

精力就是做事情的能力。包括体能、情感、思维、意志四个方面

2023-01-19 17:30:19 2213 2

原创 自动驾驶的“脏活”:手撕激光雷达运动畸变与鬼影(附 Python/C++ 核心实现)

摘要:本文探讨自动驾驶领域激光雷达点云预处理的关键技术挑战。针对运动畸变问题,提出基于IMU数据的高效运动补偿方案,采用SLERP插值和SIMD指令集优化计算性能。同时分析多路径反射导致的鬼影现象,给出强度筛选、几何一致性和时序跟踪的三重过滤策略。文章强调在端到端大模型时代,传统预处理技术对数据质量保障的核心价值,并分享C++/Python工程实践中的性能优化技巧,为自动驾驶感知系统提供可靠的数据基础。

2025-12-29 19:48:31 593

原创 2025:把“大模型”写进“数据闭环”——从自动驾驶到具身机器人,我如何用数据与算法做可落地的智能系统

2025年AI领域最显著的变化是从单一模型向可持续迭代的闭环系统转变。本文系统梳理了"数据→模型→行动→数据"的完整闭环链路,重点分析了四大关键层:数据底座(可追溯/可增量/可观测)、模型侧(本地推理可靠性)、自动驾驶(数据再生产)、具身智能(VLA可训练性)。作者通过实践总结出可落地的工程准则,包括数据湖布局策略、量化部署模板、Occupancy自动标注方案等,并将读者互动转化为闭环系统的需求输入端。文章强调真正的智能价值在于系统化的稳定生产能力,而非孤立模型效果。

2025-12-29 15:53:46 516 1

原创 Google 在不到 4 分钟内部署了 130,000 个 Kubernetes Pod(具体如何实现)

Google构建了全球最大Kubernetes集群,拥有13万个节点,能在3分40秒内部署13万个Pod,持续维持每秒1000个Pod的创建速度。这一突破性成就不仅展示了技术实力,更为AI基础设施发展提供了新蓝图。该集群采用智能缓存、基于Spanner的存储和Kueue调度系统,解决了大规模资源管理的核心挑战。对于AI训练、动画渲染等场景,快速调度能力可大幅降低闲置成本(10,000块H100 GPU每分钟闲置成本达500美元)。该创新将使各类企业受益,从小型初创公司到大型AI实验室,标志着Kubernet

2025-12-29 10:51:35 547

原创 还在用数据库做排行榜?Redis ZSET 才是高并发“热销药品”排名的神器!

这是一篇为您精心整理的高质量技术博客文章,结合了您提供的 Redis ZSET 原理和 “热销药品排名”实战案例。文章采用了由浅入深的结构,配合图解思维(文中预留了配图位置),非常适合作为高流量的技术干货分享。

2025-12-29 00:31:33 988

原创 离线自动标注 Occupancy:别再把“墙后面”当成空气了(附 3D Ray Casting 源码)

自动驾驶占据栅格模型出现"穿墙"问题?问题可能出在真值数据上。本文提供了一套完整的离线自动标注方案,通过SLAM轨迹优化、动态物体剔除和光线投射技术,精准生成Free/Unknown/Occupied三态真值。关键点包括:1)利用多帧点云叠加获得稠密场景;2)采用3D Bresenham算法实现高效光线投射;3)严格区分未知区域,避免错误标注。文章还分享了Python实现代码和工程优化技巧,如稀疏存储和计算加速,帮助开发者构建高质量的Occupancy数据集,从根本上解决模型误判问题。

2025-12-26 19:23:53 755

原创 Apache Iceberg REST Catalog 介绍(包含独立服务搭建、StarRocks 元数据管理和 MinIO 存储)

本文介绍了基于Apache Iceberg的数据湖架构,重点讨论了将REST Catalog作为独立服务部署的方案。该架构采用StarRocks管理Iceberg元数据,MinIO作为对象存储,实现高性能分布式数据湖管理。文章详细说明了REST Catalog的服务架构优势(跨引擎互操作性、高效元数据管理),并提供了使用Docker部署Gravitino(REST服务)、MinIO和StarRocks的具体步骤。同时强调了生产环境中的安全配置和性能优化注意事项,为构建多引擎协作的数据湖方案提供了实践指导。

2025-12-26 18:34:22 1017

原创 自动驾驶圈的“撞名”惨案?深度解析两篇 SparseWorld 的含金量与路线之争

2025年末自动驾驶领域两篇重磅论文"撞车":理想汽车与同济大学合作的SparseWorld-TC聚焦规划端生成式世界模拟器,采用轨迹条件查询和全注意力时空融合,实现3-4%性能提升;地平线与华中科大的SparseWorld则针对车端部署优化,提出距离自适应感知(RAP)和回归式预测,推理速度提升7倍。两篇论文分别代表了"理论突破"和"工程极致"的不同路线,反映了行业对稀疏占用网络+世界模型的技术共识。巨头选择公开核心算法,实则是人才吸引、数据壁垒

2025-12-25 20:54:43 461

原创 深度学习架构与实现:从 PyTorch 基础到 Transformer 的代码实践指南

本文系统介绍了深度学习的PyTorch实践,从Tensor基础操作到Transformer架构实现。主要内容包括:1) PyTorch核心概念:Tensor运算、GPU加速、自动求导和神经网络构建;2) 深度学习基础:感知机、前馈网络、激活函数和CNN原理;3) Transformer详解:自注意力机制、多头注意力、位置编码和完整实现;4) 最小可运行Transformer案例:包含mask处理、AddNorm、FFN等关键模块;5) BERT等预训练模型简介。通过LeNet5和CopyTask等实战示例,

2025-12-22 00:41:38 943

原创 [实战复盘] 性能提升 400 倍:我们为何放弃 Milvus 选择 PostgreSQL 做向量检索?

本文记录了一次从MySQL+Milvus到PostgreSQL(pgvector)的架构升级实践。针对AIoT业务中"结构化过滤+向量检索"的混合场景,原方案存在跨系统I/O瓶颈,导致查询耗时高达27秒。通过迁移1300万+数据至PostgreSQL并采用HNSW索引,实现了96%+召回率下0.03秒的查询响应,性能提升超400倍。测试表明,在1亿数据量级内,单机PostgreSQL优于分布式方案,同时大幅降低了内存消耗(从750GB降至26GB)。文章详细分析了HNSW算法原理和pgv

2025-12-18 20:06:25 831

原创 具身智能的「黑客帝国」时刻:深度解析让VLA性能暴涨300%的世界模型

【摘要】最新研究GigaWorld-0和FutureX通过构建虚拟世界模型,实现了具身智能训练范式的突破。核心创新包括:1)采用动态掩码机制和流匹配技术,使扩散模型学会物理因果推理而非简单图像生成;2)在潜在空间进行高效推理,计算量比像素空间降低两个数量级;3)智能开关机制自动权衡计算成本与决策质量;4)FP8混合精度与稀疏注意力技术实现300%性能提升。该方案通过90%生成数据训练,解决了机器人领域的数据饥渴问题,为具身智能发展提供了新范式。

2025-12-16 09:15:00 724

原创 公司内网DolphinScheduler 与 Spark 在 Kubernetes 上的部署:一步步指南

本文详细介绍了在Kubernetes上部署Apache DolphinScheduler与Spark集群模式的完整方案。主要内容包括:1) 架构规划,将集群划分为控制区、计算区和存储区;2) 节点标签配置;3) 自定义Docker镜像构建;4) NFS共享存储设置;5) Helm部署配置;6) Spark任务参数优化。该方案实现了资源隔离、动态扩展和高性能计算,适用于ETL、机器学习等大数据处理场景,提供了生产环境部署的最佳实践指南。

2025-12-15 19:47:58 255

原创 TeleTron项目技术优化原理之上下文并行技术

本文介绍了Ulysses上下文并行机制在TeleTron中DiT模型处理长序列的核心原理。通过SeqAllToAll4D通信操作,在序列并行和头并行之间转换数据布局:初始将长序列分段存储在不同GPU上(序列并行),通过All-to-All交换数据转换为按注意力头划分(头并行),使每个GPU获得完整序列的局部头数据以计算全局Attention,计算完成后再转换回序列并行布局。对于图像等长序列必须执行两次All-to-All通信,而文本序列由于较短可直接本地处理,省去昂贵的通信开销。该机制通过动态维度转换解决了

2025-12-15 19:25:19 859

原创 踩坑无数:Spark Operator on K8s 离线部署与原理深度解密 (企业级实战指南)

摘要:本文深度剖析了SparkOperator在Kubernetes上的企业级离线部署实践。首先解析了SparkOperator的架构原理,包括Controller、Webhook和Executor三大核心组件的协作机制。重点复盘了私有化部署中的三大典型问题:Helm镜像路径拼接错误、401认证失败(域名不匹配)和RBAC权限缺失,并提供了详细的解决方案。最后给出标准SOP操作指南,涵盖镜像准备、Helm配置优化、全局凭证创建等关键步骤,特别强调了镜像字段拆分和多域名认证的重要性,为企业在内网环境部署Spa

2025-12-10 14:39:38 179

原创 强化学习背后的数学魔法:结合马里奥跳格子的案例

本文深入浅出地讲解了强化学习(RL)的数学原理及其算法实现。作者通过训练宠物狗的类比,生动解释了RL的核心概念,包括马尔可夫决策过程、回报函数、策略梯度等关键数学原理。文章详细拆解了4个引理和4个定理,展示了如何将这些数学原理应用于实际算法架构,并以《超级马里奥兄弟》游戏为例,演示了DQN算法的具体实现步骤。最后强调数学是RL架构的基石,并鼓励读者动手实践。全文用通俗易懂的语言将复杂的RL数学原理转化为可理解的知识点,适合数据分析师、算法工程师和AI爱好者阅读。

2025-12-10 10:22:08 831

原创 Megatron-LM深度解析:万亿参数大模型的3D并行训练之道

训练框架,采用创新的"层内模型并行"设计,通过将Transformer层的计算拆分到多个GPU上并行执行,显著提升训练效率。该系统支持3D并行策略(数据并行、张量并行、流水线并行)和序列并行等新技术,成功应用于训练5300亿参数的MT-NLG模型。相比DeepSpeed、TPU GSPMD等框架,Megatron-LM在NVIDIA GPU上展现出卓越性能,并与TensorRT等工具深度集成,形成从训练到部署的完整解决方案。该项目持续演进,已成为大模型训练的重要基准。

2025-12-08 00:00:43 984

原创 2025 年最强 ROS Bag 存储方案:PostgreSQL + TimescaleDB + Citus 完胜所有时序数据库(实测 95% 压缩 + 10 倍查询加速)

摘要:文章介绍了基于PostgreSQL+TimescaleDB+Citus的自动驾驶数据存储方案,日均处理3PB ROSBag数据。该方案实现95%压缩比(15TB→750GB),查询速度达80ms(10秒数据),完美支持复杂JSON查询、多表关联和GIS分析。通过分层架构(Citus分布式+TimescaleDB压缩+PG原生功能)和优化的表设计(结构化列存+JSONB混合),相比传统方案显著提升性能和存储效率,是自动驾驶数据平台的理想选择。

2025-12-04 21:28:53 1298

原创 Gorilla 压缩算法最完整通俗详解

Gorilla压缩算法:时序数据库的高效压缩方案 Gorilla是Facebook在2015年提出的时序数据压缩算法,能将每个(timestamp,double)数据点平均压缩到1.37字节,实现12-18倍的压缩比。该算法包含两部分核心技术:时间戳采用Delta-of-Delta(DoD)编码,96%的时间戳仅需1bit;浮点值使用XOR魔法压缩,通过2bit控制位处理不同变化模式。目前包括Prometheus、VictoriaMetrics等主流时序数据库仍在使用Gorilla算法,因其实现简单、压缩比

2025-12-04 21:09:38 803

原创 感知模块详解:从 OpenCV/YOLO 脚本到 多模态多任务 BEV 架构

工业自动驾驶感知系统已从模块化开发进阶为多模态融合的有机整体。传统方案采用独立模块处理不同任务,存在重复计算和协同不足问题;现代架构基于One Backbone, Multiple Heads理念,通过统一BEV空间特征和多任务头实现高效感知。关键技术包括:基于神经网络的BEV变换(LSS/BEVFormer)替代传统几何投影,多任务模型整合检测与分割,时序融合增强跟踪稳定性,以及特征级多模态融合(摄像头+雷达)。部署时采用迁移学习与知识蒸馏技术,使低成本纯视觉系统也能获得接近多模态

2025-11-30 21:17:58 1298

原创 自动驾驶仿真数据闭环:如何利用大数据构建“上帝视角”的虚拟矩阵?(硬核指南)

自动驾驶仿真数据闭环正成为行业竞争焦点。本文从大数据开发视角,解密如何将实车采集的Rosbag数据转化为仿真引擎可用的OpenSCENARIO标准格式。文章剖析了VTD、Carla等主流仿真工具的分工特点,详解ASAM标准化格式体系,并重点阐释了ROS在研发阶段的优势地位。通过构建"场景挖掘-参数提取-剧本生成-闭环验证"的自动化流水线,实现从海量数据中高效提炼关键场景,为算法迭代提供虚拟测试环境。这种数据驱动的仿真闭环,正在重塑自动驾驶研发范式。

2025-11-30 17:23:26 899

原创 拒绝空中楼阁:一套务实的智能驾驶“赶超”工程化蓝图

本文提出智能驾驶追赶者的工程化战略:选择已验证的成熟架构(如BEV+Transformer),构建高效数据流水线实现算法代差追赶。具体包括:1)算法层面采用BEVDet等量产验证架构,优化计算瓶颈;2)搭建Spark/Flink数据湖实现传感器硬同步,利用主动学习挖掘高价值数据;3)建立自动化闭环系统,涵盖大模型预标注、特征工程流水线和仿真评测熔断机制。通过三阶段演进(基础架构→高速NOA→城市NOA),以数据工程效率为核心竞争力,实现低成本快速迭代。

2025-11-29 13:54:22 1282

原创 Map-World:用“填空”与“路径积分”重构自动驾驶规划范式

摘要:自动驾驶规划模块面临的核心挑战是处理道路交通的不确定性。传统方法依赖预设轨迹锚点或筛选最优路径,存在表达局限和信息浪费问题。Map-World创新性地采用"掩膜动作规划"和"路径积分世界模型",实现了无锚点多模态轨迹生成和高效信息利用。实验显示,该方法在NAVSIM和nuScenes基准上性能领先,推理延迟仅13.5ms。然而,量产落地仍面临算力限制、安全验证和长尾场景等工程挑战。未来可能走向"生成式+传统约束"的融合范式,在灵活性与安全性间

2025-11-29 10:18:14 744

原创 字节开源PaSa:手把手教你复刻这个“吊打”GPT-4o的论文检索Agent!工程落地全指南

摘要:字节跳动与北大联合开源的PaSa(PaperSearchAgent)通过强化学习技术革新了学术搜索方式。该系统采用双子星架构,包含执行搜索任务的Crawler和负责质量把关的Selector,通过五步工程方案实现落地:1)构建基于SemanticScholarAPI的数字图书馆;2)使用GPT-4生成数据进行监督微调;3)采用PPO算法结合DeepSpeed进行强化学习训练;4)利用vLLM或SGLang实现推理加速;5)集成多实例并行搜索策略。实验表明,该系统的召回率比"Google+GP

2025-11-23 23:41:44 1457

原创 字节跳动开源PaSa:用强化学习重塑论文检索!2分钟搞定一周的调研工作量

字节跳动与北大联合推出PaSa智能体,革新学术论文检索方式。该智能体通过强化学习训练,能自主搜索、阅读和追踪引文网络,解决了传统搜索引擎关键词匹配不足和通用LLM幻觉问题。PaSa采用双Agent架构(Crawler和Selector)和创新的Session-Level PPO算法,在3.5万条训练数据上取得突破:相比Google Scholar召回率提升39.9%,7B参数模型性能超越GPT-4o。其核心价值在于展示了RL训练的小模型在特定领域可超越通用大模型,并验证了引文网络挖掘对学术研究的重要性。

2025-11-23 22:37:11 811

原创 RT-2:Google DeepMind的机器人革命——如何让AI从网页知识中学会操控现实世界

Google DeepMind推出的RT-2模型将互联网知识与机器人控制相结合,通过视觉-语言-动作(VLA)架构实现智能操控。该模型将机器人动作转化为"文本Token",利用预训练视觉语言模型(VLM)的常识推理能力,显著提升泛化性能。实验显示,RT-2在6000多次测试中,对未见任务的执行成功率比前代提升3倍,能理解"捡起灭绝动物"等复杂指令。其涌现能力包括符号理解、推理和人类状态识别,为通用机器人发展奠定基础。虽然存在计算成本高等挑战,但RT-2标志着AI向物理

2025-11-23 13:16:10 1448

原创 万亿级流量变现:下一代互联网计算广告系统全链路架构设计实战

本文系统阐述了现代互联网广告系统的架构设计与核心技术。广告系统作为"技术皇冠上的明珠",需要处理PB级数据并实现毫秒级决策。文章从商业闭环、分层架构、核心算法和前沿技术四个维度展开:1)系统定位为覆盖全角色链路的广告交易平台;2)提出五层"三明治"架构模型,包括商业逻辑层、算法引擎层等;3)深入解析eCPM核心公式及其推导逻辑,说明如何通过CTR/CVR预估实现智能出价;4)探讨隐私计算、联邦学习等前沿技术的应用。该架构实现了商业价值与用户体验的动态平衡,是数据价值深

2025-11-22 16:24:31 109

原创 字节跳动 GR-3 深度拆解:VLA 模型如何重塑通用机器人?

字节跳动Seed团队发布GR-3技术报告,展示了一个40亿参数的端到端VLA模型。相比GR-2,GR-3在零样本泛化和少样本学习上取得突破,成功率从55.8%提升到57.8%(Few-shot后达86.7%)。GR-3采用VLM+FlowMatching架构,结合互联网数据、机器人轨迹和人类VR数据,实现了对抽象指令的理解和丝滑动作控制。实验表明,GR-3在拾取放置、餐桌清理和布料操作等任务上表现优异,但仍有改进空间。该技术为通用机器人发展提供了新方向。

2025-11-21 00:15:26 1477

原创 解密 Seedream 4.0:字节多模态图像生成的核心技术

字节跳动Seed团队推出的Seedream4.0是AI图像生成领域的重大突破,该系统整合了文本到图像合成、编辑和多图像合成功能,支持1K-4K高分辨率输出且处理速度仅需秒级。其核心采用DiffusionTransformer与变分自编码器协同架构,通过数据分级训练和多阶段优化策略,显著提升了图像质量和生成效率。在多项基准测试中表现优于主流模型,特别擅长知识密集型内容的精确生成与编辑。该系统通过对抗蒸馏等加速技术实现高效推理,展现了下一代智能图像工作站的强大潜力。

2025-11-18 17:17:52 546

原创 英伟达的 Alpamayo-R1:利用因果链推理赋能自动驾驶模型和数据工程剖析

英伟达发布革命性自动驾驶框架Alpamayo-R1(AR1),通过融合视觉-语言-动作(VLA)与因果推理技术,显著提升L4级自动驾驶在复杂场景下的安全性。该框架采用模块化设计,结合多阶段训练策略,在仿真测试中使规划准确率提升12%,碰撞率降低25%,并实现99毫秒的实时响应。基于8万小时真实驾驶数据构建的因果链(CoC)数据集为模型提供强大支撑。研究成果已发表于arXiv,并计划开源部分模型和数据,推动行业向更安全的自动驾驶发展。

2025-11-17 17:04:27 1665

原创 构建企业级机器学习平台:基于Ray和DeepSpeed的半导体AI实践

本文系统介绍了半导体行业机器学习平台的构建与应用。平台针对半导体生产海量数据处理难题,采用"六大中心"架构设计,基于Kubernetes和Ray集群实现分布式计算。核心技术整合Ray和DeepSpeed,支持Billion级参数模型训练,使训练周期从数周缩短至数天,GPU利用率达90%以上。平台功能涵盖数据管理、特征工程、模型训练到部署全流程,实现自动化率98%,算力成本降低30%,模型精度提升25%。该方案成功将传统研发模式升级为智能化平台,为半导体制造良率预测、设备维护等场景提供高效

2025-11-15 20:10:23 1071 3

原创 小鹏VLA 2.0的“神秘涌现”:从痛苦到突破,自动驾驶与机器人如何突然“开窍”?

摘要: 小鹏汽车在2025科技日上展示了VLA2.0自动驾驶系统和人形机器人IRON的“涌现”式突破。VLA2.0通过简化架构并直接使用真实世界数据训练,实现了无需标注的泛化能力,甚至能预测交通灯变化。小鹏放弃激光雷达,优化纯视觉算法以降低成本。机器人IRON则通过仿生脊柱设计和生成式控制器,实现了高度拟人化的动作。这些突破源于持续投入与底层技术创新,标志着AI从“模仿”向“涌现”的跃迁,为自动驾驶和机器人领域带来新可能。

2025-11-14 18:59:17 861 2

原创 构建高效的多模态AI数据平台:从海量数据到智能进化的完整指南

本文详细介绍了构建云端多模态AI数据平台的端到端架构方案。平台采用微服务设计,划分为数据接入、AI处理、数据存储和平台管理四大核心层,包含数据网关、伪标签生成、向量嵌入等关键服务。通过Kafka、Spark、Kubernetes等技术实现PB级数据处理能力,支持自动驾驶等场景下的图像、LiDAR等多模态数据融合。平台提供从数据接入、自动标注、特征提取到智能检索的全流程闭环,可提升模型准确率10-20%,加速边缘场景挖掘。文章结合实际项目经验,阐述了时空对齐、联合嵌入空间等关键技术实现,并分享了成本控制、团队

2025-11-13 18:44:18 272

原创 机器人运动控制全解析:从经典架构到AI智能体的进化之路

机器人运动控制通过多层架构实现精准动作:感知层(环境建模与状态估计)将传感器数据转化为结构化世界模型;规划层(运动学与路径规划)制定高效行动策略;控制层(伺服控制与PID算法)实时调整执行;执行层(电机与驱动器)完成物理动作。现代技术融合经典控制与AI(如端到端学习),在可靠性的基础上增加适应性,使机器人能像人类一样灵活应对复杂环境。这一分层体系从感知到执行紧密协作,推动机器人技术向更高自主性发展。

2025-11-13 17:18:25 814

原创 零基础搞懂世界模型:从日常猜剧情到自动驾驶的秘密

世界模型本质上是AI系统根据现有信息预测未来的能力,就像人类看剧时预判剧情发展一样。这种模型通过分析视觉、声音、传感器等多元数据,学习规律并预测下一时刻的状态,从视频帧到自动驾驶决策都适用。不同于单纯模仿数据的神经网络,世界模型更注重逻辑推理和趋势预测。由于不同领域规律差异大,实际应用多是专业化的特定模型,如自动驾驶领域需要毫秒级精准预判,甚至结合语言指令增强预测针对性(VLA模型)。当前世界模型虽不能"全能",但通过专业化分工已在多个领域展现出强大的预判价值,推动AI从简单模仿向决策思

2025-11-12 20:28:17 560

原创 2025年ASR技术前沿:从端到端模型专利到AI语音就业机会,全方位解析自动语音识别的未来

摘要:AI大模型推动自动语音识别(ASR)技术革新,端到端模型突破传统级联架构局限。开源工具Wenet-e2e等提供工业级解决方案,全链路对话模型将延迟降至650ms。2025年全球语音市场预计超500亿美元,开发者可通过GitHub资源库入门,关注多模态融合和低延迟优化等趋势,把握语音AI时代机遇。

2025-11-06 13:23:17 1441

原创 Ray框架在训练平台和AI基础设施中的实践经验

本文分享了基于Ray框架构建分布式机器学习系统的实践经验。作者深度应用Ray开发了高效计算平台,重点介绍了XGBoost on Ray解决方案:其通过Actor模型实现了精细状态管理、弹性容错和多GPU支持,相比传统方案训练效率提升2-6倍,故障率显著降低。文章对比了XGBoost on Ray与RayTrain的特性差异,详细阐述了Ray Core、Ray Data等核心组件的应用实践,包括分布式任务调度、大规模数据处理和超参数优化集成。最后分享了在Kubernetes上的部署架构和运维要点,展示了Ray

2025-11-06 04:15:00 998

原创 从Kimi Linear一作张宇的分享看大模型训练的秘密:数据专家如何成为AI核心力量

摘要:KimiLinear模型开创性采用线性注意力机制,在5.7T Token训练下实现推理速度6倍提升,性能超越传统Transformer。模型首创KDA架构,通过Delta Rule改进确保梯度稳定,并创新性地用时间衰减核函数替代RoPE位置编码。该突破不仅验证了线性注意力的潜力,更提供了大模型训练实践范本。核心开发者张宇分享的关键经验包括:采用渐进式扩展策略、重视"内科"指标监控、平衡数据配方等。这标志着数据工作者正从执行者转型为策略制定者,需要掌握数据战略规划、质量分析和系统优化

2025-11-04 22:47:20 882

原创 在自动驾驶数据闭环中的特征工程应用(上)

本文提出了一套可工程落地的自动驾驶特征工程方案,严格遵循特征工程方法论并针对多模态数据设计。方案包含从特征理解到评估闭环的完整流程,核心采用scikit-learn风格的Pipeline设计防止数据泄露。重点包括:1)多传感器数据对齐与EDA分析;2)基于物理规则和统计的特征增强;3)分层构建车辆动力学、地图几何等场景特征;4)结合过滤法、嵌入法的特征选择策略;5)深度特征学习与传统模型的融合应用。最后通过换道决策分类器的Pipeline示例,展示了特征工程与模型评估的完整实现方案,强调分场景评估和线上特征

2025-11-04 15:22:36 1179

部署开源大模型的硬件配置全面指南

部署开源大模型的硬件配置全面指南

2024-12-21

人工智能大模型技术白皮书

人工智能大模型技术白皮书

2024-11-28

多模态大模型在视觉领域的全面调查

多模态大模型发展综述

2024-11-21

Kaggle生物信息学挑战:酶稳定性预测大赛

数据集和代码

2024-11-07

Flink CDC的前世今生-设计思想解读

Flink CDC的前世今生-设计思想解读

2024-10-22

自动驾驶⻋辆环境感知:多传感器融合

bev技术研究

2024-06-23

单目视频的实时相干3D重建

单目视频的实时相干3D重建

2024-04-12

针对小尺寸自动驾驶汽车的轻量级语义slam解决方案

针对小尺寸自动驾驶汽车的轻量级语义slam解决方案

2024-04-11

【Kaggle比赛】DFL 德甲足球事件检测大赛(CV·目标检测-视频分类)

【Kaggle比赛】DFL 德甲足球事件检测大赛(CV·目标检测-视频分类)

2024-04-06

线性回归与逻辑回归测试数据

线性回归与逻辑回归测试数据

2024-01-29

Spark面试攻略:全面准备与技巧指南.docx

Spark面试攻略:全面准备与技巧指南

2024-01-26

知识问答助理python代码

知识问答助理python代码

2024-01-06

一个在有序行和列的矩阵中选择第k小元素的O(n)时间复杂度算法

这篇文章是《Information Processing Letters》1985年第20卷第1期的一篇论文,标题为“Selection in X+Y and Matrices with Sorted Rows and Columns”,作者是A. Mirzaian和E. Arjomandi,来自加拿大约克大学计算机科学系。 文章的主要内容是关于在有序矩阵中进行选择(selection)问题的研究。具体来说,文章提出了一个在有序行和列的矩阵中选择第k小元素的O(n)时间复杂度算法。这个问题在统计学和运筹学中有应用,并且与VLSI布局问题相关。

2024-01-01

数据中台的集群规划和搭建

数据中台的集群规划和搭建

2023-12-27

数据中台的集群规划和搭建

数据中台的集群规划和搭建

2023-12-27

数据中台的集群规划和搭建

数据中台的集群规划和搭建

2023-12-27

数据中台的集群规划和搭建

数据中台的集群规划和搭建

2023-12-27

用户画像学习资料链接地址

用户画像学习资料

2023-11-16

华为鸿蒙4谷歌鸿蒙GMS安装的安装包

华为鸿蒙4谷歌鸿蒙GMS安装的安装包 https://blog.csdn.net/lzhcoder/article/details/133976046

2023-10-23

大数据技术之Spark调优

大数据技术之Spark调优

2023-05-03

DolphinScheduler 与 Spark 在 Kubernetes 上的部署:一步步指南

与 Spark 在 Kubernetes 上的部署:一步步指南

2025-12-17

bitnami/zookeeper 3.6 docker镜像

dolphinscheduler Helm Chart (Charts/Zookeeper) 是基于 Bitnami 的标准编写的,而你官方原生的 zookeeper:3.6。 这两者的目录结构、启动脚本、环境变量名完全不同,互不兼容!修改 Helm Chart 适配不同底层的镜像是一个非常复杂的过程,很容易出现权限不足、配置文件生成失败、集群无法互通等问题。

2025-12-17

Map-World:用“填空”与“路径积分”重构自动驾驶规划范式

Map-World:用“填空”与“路径积分”重构自动驾驶规划范式

2025-11-29

计算广告建设书籍打包版

算法与数据中台,计算广告,DSP,DMP

2025-11-23

RT-2:Google DeepMind的机器人革命-如何让AI从网页知识中学会操控现实世界

RT-2:Google DeepMind的机器人革命-如何让AI从网页知识中学会操控现实世界

2025-11-23

字节具生机器人模型GR-3技术报告

字节具生机器人模型GR-3技术报告

2025-11-20

Seedream 4.0技术报告

Seedream 4.0技术报告

2025-11-18

2025年ASR技术前沿:从端到端模型专利到AI语音就业机会,全方位解析自动语音识别的未来

2025年ASR技术前沿:从端到端模型专利到AI语音就业机会,全方位解析自动语音识别的未来

2025-11-06

解锁亚马逊评论的秘密:基于语义嵌入与 t-SNE 可视化的深度分析

完整代码实现

2025-06-05

深度解析:Spark、Hive 与 Presto 的融合应用之道

Spark SQL 查询系统 基于 Apache Spark 的分布式SQL查询引擎 - Local模式

2025-05-25

SuperSonic 为机器人制造企业数字化转型注入强劲动力

SuperSonic 为机器人制造企业数字化转型注入强劲动力

2025-05-07

Chain-of-Verification (CoVe):让大模型“自我审校”的技术如何落地?

Chain-of-Verification (CoVe):让大模型“自我审校”的技术如何落地?

2025-03-19

扩散模型资源与最新研究大汇总:从图像生成到自动驾驶的前沿探索

扩散模型资源与最新研究大汇总:从图像生成到自动驾驶的前沿探索

2025-03-15

扩散模型在低级视觉任务中的应用:5个必看开源项目附代码

扩散模型在低级视觉任务中的应用:5个必看开源项目附代码

2025-03-14

KIMI K1.5:大规模强化学习在大语言模型中的应用与工程实践

KIMI K1.5:大规模强化学习在大语言模型中的应用与工程实践

2025-02-25

基于对抗学习的多级交互融合网络用于高光谱和LiDAR数据融合分类

这篇论文提出了一种新的多模态数据融合框架,通过多层次的特征交互和融合,有效提高了高光谱和LiDAR数据的分类性能。实验结果证明了该方法的先进性和有效性。

2025-02-17

基于李宏毅老师深度强化学习蘑菇书EasyRL

李宏毅老师的《深度强化学习》是强化学习领域经典的中文视频之一。李老师幽默风趣的上课风格让晦涩难懂的强化学习理论变得轻松易懂,他会通过很多有趣的例子来讲解强化学习理论。比如老师经常会用玩 Atari 游戏的例子来讲解强化学习算法。此外,为了教程的完整性,我们整理了周博磊老师的《强化学习纲要》、李科浇老师的《世界冠军带你从零实践强化学习》以及多个强化学习的经典资料作为补充。对于想入门强化学习又想看中文讲解的人来说绝对是非常推荐的。

2025-02-07

DeepSeek-R1-技术报告中文版-由deepseek翻译.pdf

DeepSeek-R1-技术报告中文版-由deepseek翻译.pdf

2025-01-24

扩散模型如何在智能交通(自动驾驶、交通仿真、轨迹预测等)领域发挥作用

扩散模型是通过模拟扩散过程、逐渐添加和去除数据中的噪声来生成逼真样本的概率模型。这些模型在图像处理、语音合成和自然语言处理等领域因其生成高质量样本的能力而受到关注。随着扩散模型在各个领域的应用不断增加,现有的文献综述通常专注于计算机视觉或医学影像等特定领域,可能无法满足跨多个领域的广泛受众。因此本综述提供了对扩散模型的全面概述,包括其理论基础和算法创新。突出了其在媒体质量、真实性、合成、图像变换、医疗保健等多个领域的应用。通过整合当前的知识并识别新兴趋势,本综述旨在促进对扩散模型的更深入理解和更广泛的应用,并为各个学科的未来研究者和实践者提供指导。

2025-01-18

AI发展新态势:从技术突破到安全隐忧

AI发展新态势:从技术突破到安全隐忧

2024-12-27

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除