- 博客(740)
- 资源 (31)
- 收藏
- 关注
原创 突破认知边界:大模型研究者思维工具箱
为什么顶尖AI研究者总能突破常规边界?,他们的秘密在于:在其他人停止思考的地方继续深入探索。他们不满足于表面的答案,而是尝试从新的角度理解问题,找到切实可行的方法。
2025-04-23 20:22:56
459
1
原创 架构师的六大生存法则与价值创造
架构师在软件架构设计中需遵循六大生存法则,确保方案与企业目标一致,尊重人性,最大化商业价值,考虑技术生命周期,注入外部适应性,并在文化环境中生存。这些法则帮助架构师在资源限制下,通过技术洞察和设计,实现商业模式的创新和效率提升,同时要求架构师具备良知和勇气,以全局和长期视角推动架构成功,为公司创造持续的商业价值。
2024-04-26 22:27:32
1598
1
原创 论系统安全架构设计及其应用(基于AI大模型项目)
摘要:本文分享了某大型科技公司"企业级AIGC能力中台"的安全架构设计经验。作为系统架构师,我主导设计了基于零信任理念的安全体系,重点解决API密钥泄露、数据越权访问等核心问题。针对传统静态APIKey管理混乱问题,采用OAuth2.0动态令牌机制;针对RAG场景的数据越权,创新性地将权限控制下沉到向量检索阶段,通过元数据注入和预计算过滤实现细粒度控制。项目最终建成日均2000万次调用的安全中台,为AI时代的企业级应用安全提供了实践参考。
2026-02-05 20:38:38
702
原创 论湖仓一体架构及其应用
我所在的半导体企业随着产能扩张,数据管理面临严峻挑战。作为架构师,我经过调研发现,原有的烟囱式架构存在三大痛点:一是数据异构严重,MES的结构化数据、FDC的毫秒级时序数据及量测设备的半结构化文件分散在不同系统;因此,我决定采用“湖仓一体(Lakehouse)”架构,旨在构建一个既拥有数据湖的灵活性与低成本,又具备数据仓库的管理能力与高性能的新一代数据平台。同时,配置脏数据收集器(Dirty Data Collector),将清洗失败的数据分流至异常区,确保进入“湖仓”的数据必须符合开放标准格式的要求。
2026-02-03 21:19:29
730
原创 论边云协同架构在自动驾驶系统中的应用
本文介绍了2024年参与的L4级自动驾驶测试平台研发项目,针对海量数据处理、实时决策和模型迭代等挑战,设计了一套基于KubeEdge的边云协同架构。该架构通过资源协同实现离线自治能力,数据协同采用价值驱动传输机制,智能协同构建云端训练-边缘推理闭环,应用管理协同实现容器化治理。实施效果显示,系统节省了95%带宽成本,模型迭代周期缩短至3天,支持50辆测试车累计行驶10万公里。文章还提供了机考论文写作要点,强调技术术语准确性、问题-解决闭环逻辑和量化数据支撑的重要性。
2026-02-03 19:15:31
1122
原创 系统架构师考试必看:11个协议端口号形象记忆法,看完再也忘不掉(附记忆宫殿地图)
摘要:本文介绍了一种基于记忆宫殿的形象编码系统,帮助快速记忆网络协议端口号。通过将数字转换为生动图像(如22=天鹅、443=帆船+手铐),构建11个协议记忆场景:HTTP80(雪人上网)、SSH22(双天鹅隧道)、POP3110(筷子夹邮件)等。采用5分钟博物馆参观路线复习法,配合0-9数字形象编码表(如6=高尔夫球杆),将枯燥数字转化为夸张画面。该方法利用人脑对图像的超强记忆能力,可在一周内永久记住核心协议端口,特别适合网络工程师考试备考。(149字)
2026-01-27 19:02:47
670
原创 论多源数据集成技术在半导体良率分析平台中的应用
本文针对半导体制造中的数据孤岛问题,设计了混合多源数据集成架构:采用DataX中间件实现MES等异构业务数据低侵入同步,通过自定义类型映射与流控保障数据质量;构建以IoTDB时序数据库为核心、Flink+Spark为引擎的流批一体数仓,解决高频传感器数据的高吞吐写入与海量历史存储矛盾;引入Presto联邦查询引擎,通过广播Join、计算下推与资源隔离实现跨源秒级关联。平台纳管PB级生产数据,将良率异常定位周期从3天缩短至2小时,助力先进制程良率爬坡。
2026-01-24 14:18:16
721
原创 自动驾驶的“加塞”难题:为什么AI学不会“老司机”的丝滑?
自动驾驶处理加塞难题面临三大核心挑战:数据质量、模型训练和架构瓶颈。人工采集的"兔子车"数据缺乏真实博弈场景,导致模型误判;人类"老司机"驾驶数据存在非线性操作,使模型陷入拟合困境;传统两段式架构丢失关键信息(如轮胎角度),造成预判困难。解决方案包括:优先采用真实驾驶数据、优化数据阶段配比(侧重压线瞬间)、向端到端架构演进。这些改进旨在让AI系统更接近人类驾驶直觉,实现安全又自然的加塞应对。
2026-01-24 13:44:25
848
原创 论微服务架构在电商交易系统中的设计与应用
摘要:本文详细介绍了2024年某大型电商平台重构项目,针对原有单体架构在高并发场景下的性能瓶颈,采用基于SpringCloudAlibaba的微服务架构解决方案。系统拆分为用户、商品、订单、支付和物流五大核心服务,通过Redis缓存、Redisson分布式锁和RocketMQ异步消息等技术实现高并发处理。重点阐述了商品查询的多级缓存策略、下单流程的分布式锁机制以及支付回调的异步解耦方案,并分析了库存超卖和服务雪崩问题的解决思路。项目最终实现5万TPS并发处理能力,系统可用性达99.99%,为大型电商平台架构
2026-01-23 15:06:00
662
1
原创 Seata 全景拆解:AT、TCC、Saga 该怎么选?告别“一把梭”的架构误区
Seata分布式事务模式深度解析 摘要: Seata作为阿里开源的分布式事务解决方案,提供AT、TCC、Saga和XA四种模式。本文从架构师视角对比分析三种主流模式:AT模式通过全局锁实现自动事务管理,适合简单CRUD但存在性能瓶颈;TCC模式通过资源预留保证强一致性,适合核心资金链路但开发复杂;Saga模式采用补偿机制处理长事务,适合跨系统业务但缺乏隔离性。文章深入剖析各模式原理、适用场景及实战权衡,指出AT模式适合短平快业务,TCC适用于资金敏感场景,Saga则擅长处理长链路事务。最后提出决策树选型指南
2026-01-23 15:04:44
893
1
原创 系统架构设计师常见高频考点总结之数据库
本文摘要:文章系统介绍了数据库系统设计中的三个核心问题。首先阐述了高可用数据库架构的实现方法,包括冗余设计、主从复制和缓存策略,重点讲解了Cache-Aside模式的读写流程。其次分析了数据库设计中的命名冲突、属性冲突和结构冲突问题。最后通过实例详细解析了函数依赖关系和无损连接分解的判断方法,包括候选键确定、Chase算法验证等。全文提供了数据库系统设计的标准化解决方案框架,适用于数据库架构设计和相关考试场景。
2026-01-23 11:12:19
707
1
原创 系统架构设计师常见高频考点总结之操作嵌入式系统
本文摘要:实时操作系统(RTOS)的核心特征是确定性和高可靠性,其性能指标包括上下文切换时间、中断延迟等。RTOS采用抢占式调度,需解决优先级反转问题,常用优先级继承和天花板方法。中断管理涉及中断向量表和ISR流程,I/O控制包括查询、中断和DMA三种方式。存储管理涵盖Cache、MMU和Flash技术,NORFlash适合代码存储,NANDFlash适合数据存储。这些知识点对理解RTOS至关重要。
2026-01-21 20:38:06
575
原创 实战:手搓一个“BEV 级”自动驾驶训练加速平台 —— 当 RTX 4090 遇上多模态数据
自动驾驶算法训练面临多模态数据处理瓶颈:传统方法在图像和LiDAR点云的异构数据加载、预处理及融合环节效率低下。本文提出平台级优化方案:1)采用NIXL实现SSD到GPU的零拷贝直传,IO等待降低85%;2)利用CUDA/Triton重写核心算子,点云体素化耗时从30ms降至2ms;3)开发FlashBEV融合算子,相比PyTorch实现提速40倍且显存占用减少90%。最终在消费级GPU上实现专业级训练吞吐,让开发者专注模型创新而非底层优化。
2026-01-19 21:26:58
971
原创 系统架构设计师常见高频考点总结之软件架构设计
本文系统介绍了软件架构设计的关键知识点。首先阐述了分层架构、管道-过滤器、微内核和微服务四种主流架构风格的定义、优缺点及适用场景。其次强调架构设计的本质是质量属性权衡,并指出可扩展性设计原则。重点分析了单体架构痛点及向微服务演进的策略,包括业务拆分、数据库优化等技术手段。最后概述了系统安全性设计的纵深防御原则和常用图表类型。文章建议理解架构设计的权衡本质,结合实际项目加深认知,避免绝对化思维。
2026-01-16 23:19:08
907
1
原创 TeleTron 源码揭秘:如何用适配器模式“无缝魔改” Megatron-Core?
本文剖析了TeleTron项目如何通过非侵入式适配器模式优化Megatron-Core框架。核心创新包括:1)运行时动态替换DDP实现,改进梯度同步精度和通信效率;2)扩展上下文并行支持,巧妙绕过原生限制;3)自动化模型与优化器配置流程。该方案通过一个megatron_adaptor.py文件实现,既保持框架兼容性又增强功能,展示了Python动态特性与设计模式的精妙结合,为LLM训练框架定制提供了优雅范例。
2026-01-16 13:27:30
665
原创 拒绝人工堆料!深度拆解某头部智驾团队的“95%自动化标注”黑科技
自动驾驶技术竞争已转向云端数据闭环系统,工业级"真值工厂"成为决胜关键。最新方案通过95%自动化率的Autolabel系统,整合RT-Detr、Sparse4D、NeRF和GTSAM等前沿技术,实现全要素重建与分层真值生成。系统采用Transformer架构和稀疏感知算法处理预标注,利用GTSAM因子图优化进行轨迹平滑,并通过交叉验证机制确保标签准确性。当前挑战包括算力消耗、异形障碍物识别和多模态冲突等问题,但该方案已展现出从几何方法向AI生成技术的范式转变,成为自动驾驶迈向L3/L4的
2026-01-16 00:06:48
1380
原创 百万级 Frame 吞吐背后:自动驾驶数据平台如何支撑 VLA 端到端大模型训练
摘要:本文介绍了一种基于Kubernetes+Argo的云原生自动驾驶数据平台架构,针对VLA大模型训练中的数据处理难题提出了创新解决方案。通过"索引-实体分离"技术实现视觉数据高效存储(MKV+Parquet),采用标准化ETL流程处理激光雷达数据(PCAP转PCD),并开发了"胶水代码生成"和"S3热加载"机制,使算法工程师能像本地开发一样使用分布式计算资源。该架构显著降低了90%的存储成本,实现了秒级代码热更新,为自动驾驶大模型训练提供了高效
2026-01-11 00:38:34
164
原创 系统架构设计师常见高频考点总结之软件工程
本文总结了软件工程与软件过程模型的核心考点,主要包括:1. 常用软件过程模型(瀑布、V模型、原型等)的特点、适用场景及局限性;2. 4+1视图模型的逻辑、开发、过程、物理视图及场景视图的关键特征;3. 软件测试阶段的划分及Alpha/Beta测试的区别;4. 构件的三大特性(自包含、不可拆分、黑盒);5. PERT三点估算法的计算步骤和关键路径分析方法。文章提供了各知识点的速记技巧和应试策略,如通过关键词快速判断适用模型、视图类型的记忆口诀等,帮助考生高效掌握核心内容。
2026-01-08 09:34:45
1259
原创 系统架构设计师常见高频考点总结之操作系统
本文摘要:本文系统梳理了操作系统核心考点,包括:1)进程同步中的前趋图与PV操作(前V后P原则);2)分页存储管理的地址转换方法(页号=逻辑地址/页面大小,偏移=取余);3)流水线时间计算(吞吐率公式及加速比);4)RAID容量计算(短板效应与校验扣除规则);5)磁盘I/O性能优化(非优化/优化分布处理);6)CRC校验码计算(模二除法步骤);7)文件索引节点法(直接/间接索引范围划分)。全文通过典型例题解析,提炼各知识点的计算规律和解题技巧。
2026-01-08 09:33:57
949
原创 系统架构设计师(软考高级)设计模式备考指南
【摘要】本文系统梳理了架构师考试中设计模式的备考要点。核心考察点在于"权衡"和"质量属性",而非单纯记忆代码。文章将23种设计模式分为必考(T0)、常考(T1)和了解(T2)三类,重点分析行为型、结构型和创建型模式的典型应用场景。针对不同考试科目提供具体策略:上午题采用"关键词秒杀法",案例分析侧重UML识别与填空,论文写作建议套用电商项目模板。同时强调需区分架构模式与设计模式,注意状态模式与策略模式的区别。最后给出备考行动计划,包括模式分类记忆、
2026-01-04 21:36:42
949
原创 硬核干货 | 自动驾驶“天眼”揭秘:万字详解 LiDAR 传统感知算法全流程
自动驾驶LiDAR感知算法解析:从原始点云到目标识别的全流程拆解。文章详细介绍了激光雷达数据处理的关键步骤:1)点云预处理(ROI分割和体素降采样)降低计算量;2)Patchwork算法实现复杂路面的精准地面分割;3)多种聚类方法(欧式聚类、DBSCAN、图像聚类)识别障碍物;4)目标拟合技术(凸包算法、旋转卡尺、L-Shape)生成精准边界框。这套传统算法流程具有可解释性强、资源占用低的优势,仍是自动驾驶系统的重要基础。
2026-01-03 01:13:04
2151
原创 DeepSeek 内部核武曝光:mHC 架构如何重新定义大模型“高速公路”?(附算力受限团队生存指南)
摘要:DeepSeek最新论文《mHC: Manifold-Constrained Hyper-Connections》提出突破性架构创新,通过流形约束超连接技术解决大模型深层训练中的梯度爆炸和显存瓶颈问题。该技术将残差映射矩阵约束为双随机矩阵,实现信号能量守恒,同时通过全栈自研的编译器优化和内核融合大幅降低显存I/O压力。论文揭示了DeepSeek从优化节点转向优化连接的架构哲学转变,为资源受限团队提供了四大实战策略:1)用宽残差流替代堆叠层数;2)引入双随机约束提升训练稳定性;3)利用Triton实现内
2026-01-02 22:38:40
1162
原创 深度解析 TeleTron:融合 CUDA 内核如何极致优化 HunyuanVideo 训练性能
本文深入分析了TeleTron框架在DiT模型训练中的优化技术,重点介绍了融合CUDA内核的实现路径。通过环境变量控制融合内核开关,将AdaLayerNorm和RMSNorm的多次显存读写合并为单一高效内核。关键技术包括:1)Welford算法确保数值稳定性;2)向量化访存提升带宽利用率;3)Warp级归约优化线程通信;4)针对特定维度(如3072/128)的特化实现。这些优化手段有效突破了显存带宽瓶颈,显著提升了训练吞吐量,为大规模Transformer模型训练提供了高效解决方案。
2026-01-02 19:27:50
675
原创 系统架构设计师常见高频考点总结之计算机网络
本文系统梳理了网络技术核心知识点:1. 网络分层架构类比高速公路系统,核心层-汇聚层-接入层各司其职;2. 重点解析OSI模型各层设备特性,区分路由器/交换机/网关功能差异;3. 详解SAN/NAS存储技术特点及适用场景;4. 归纳网络规划原则与服务器部署策略;5. 总结TCP/IP协议族、IPv6特征及常见网络攻击原理;6. 梳理安全协议、负载均衡等进阶内容。全文采用"概念解析+考点提炼"的框架,通过技术对比和典型场景分析,为网络架构学习提供系统化认知框架。
2026-01-01 14:12:02
1231
原创 软考架构师必读:别再死磕物理层!一文掌握 5G 架构设计的“上帝视角”
摘要:本文针对系统架构设计师考试中的5G考点,从架构师视角解析5G技术的应用要点。重点阐述了5G三大场景特性(eMBB、uRLLC、mMTC)及其适用领域,提出了案例分析的两种架构设计模式(5G+MEC和网络切片),并提供了论文写作的万能背景模板。强调备考应聚焦5G与系统架构的关联性,而非通信技术细节,帮助考生高效掌握5G在软考中的核心考点和答题技巧。
2026-01-01 14:10:19
723
原创 还在死磕 IPv6?背下这 5 句口诀,面试/考试横着走!
IPv6核心知识点速记 IPv6采用128位地址(16字节),使用冒号分隔的十六进制表示法,支持前导零省略和双冒号压缩。其无状态自动配置(SLAAC)通过EUI-64算法将MAC地址转为接口ID。协议改进包括:固定40字节报头、取消广播改用组播/任播、仅源主机分片、原生IPSec支持。过渡技术含双协议栈、隧道和NAT64翻译。关键口诀:"128位长,冒号十六进制;双冒号一次,前导零可弃;自动配地址,后缀用MAC;报头四十字节,广播已绝迹;过渡用双栈,隧道穿隔壁"。典型考点涉及地址长度(1
2025-12-31 12:30:27
436
原创 DHCP (动态主机配置协议)软考系统架构师考点秒杀
摘要:DHCP是应用层UDP协议,通过DORA四步(Discover-Offer-Request-ACK)动态分配IP。服务端端口67,客户端68,分配内容包括IP、网关等。租约机制包含50%单播续约和87.5%广播续约两个关键时间点,客户端通过免费ARP检测IP冲突。除动态分配外,还支持自动分配和静态分配(MAC绑定)。考试重点包括端口号、DORA流程、Request广播原因及续约机制。
2025-12-31 10:38:14
897
原创 自动驾驶的“脏活”:手撕激光雷达运动畸变与鬼影(附 Python/C++ 核心实现)
摘要:本文探讨自动驾驶领域激光雷达点云预处理的关键技术挑战。针对运动畸变问题,提出基于IMU数据的高效运动补偿方案,采用SLERP插值和SIMD指令集优化计算性能。同时分析多路径反射导致的鬼影现象,给出强度筛选、几何一致性和时序跟踪的三重过滤策略。文章强调在端到端大模型时代,传统预处理技术对数据质量保障的核心价值,并分享C++/Python工程实践中的性能优化技巧,为自动驾驶感知系统提供可靠的数据基础。
2025-12-29 19:48:31
1134
原创 2025:把“大模型”写进“数据闭环”——从自动驾驶到具身机器人,我如何用数据与算法做可落地的智能系统
2025年AI领域最显著的变化是从单一模型向可持续迭代的闭环系统转变。本文系统梳理了"数据→模型→行动→数据"的完整闭环链路,重点分析了四大关键层:数据底座(可追溯/可增量/可观测)、模型侧(本地推理可靠性)、自动驾驶(数据再生产)、具身智能(VLA可训练性)。作者通过实践总结出可落地的工程准则,包括数据湖布局策略、量化部署模板、Occupancy自动标注方案等,并将读者互动转化为闭环系统的需求输入端。文章强调真正的智能价值在于系统化的稳定生产能力,而非孤立模型效果。
2025-12-29 15:53:46
2192
1
原创 Google 在不到 4 分钟内部署了 130,000 个 Kubernetes Pod(具体如何实现)
Google构建了全球最大Kubernetes集群,拥有13万个节点,能在3分40秒内部署13万个Pod,持续维持每秒1000个Pod的创建速度。这一突破性成就不仅展示了技术实力,更为AI基础设施发展提供了新蓝图。该集群采用智能缓存、基于Spanner的存储和Kueue调度系统,解决了大规模资源管理的核心挑战。对于AI训练、动画渲染等场景,快速调度能力可大幅降低闲置成本(10,000块H100 GPU每分钟闲置成本达500美元)。该创新将使各类企业受益,从小型初创公司到大型AI实验室,标志着Kubernet
2025-12-29 10:51:35
807
原创 还在用数据库做排行榜?Redis ZSET 才是高并发“热销药品”排名的神器!
本文详解Redis ZSET(有序集合)实现实时热销榜单的技术原理与架构优势。针对医药电商等高并发场景下传统数据库"ORDER BY"性能崩溃的问题,ZSET提供了毫秒级TOP N查询能力。核心实现采用"双形态"动态切换策略:小规模数据:使用压缩列表(Listpack/Ziplist)极致节省内存大规模数据:自动升级为跳表(SkipList)+ 哈希表(Dict)复合结构,兼顾排序与精准查询
2025-12-29 00:31:33
1203
1
原创 离线自动标注 Occupancy:别再把“墙后面”当成空气了(附 3D Ray Casting 源码)
自动驾驶占据栅格模型出现"穿墙"问题?问题可能出在真值数据上。本文提供了一套完整的离线自动标注方案,通过SLAM轨迹优化、动态物体剔除和光线投射技术,精准生成Free/Unknown/Occupied三态真值。关键点包括:1)利用多帧点云叠加获得稠密场景;2)采用3D Bresenham算法实现高效光线投射;3)严格区分未知区域,避免错误标注。文章还分享了Python实现代码和工程优化技巧,如稀疏存储和计算加速,帮助开发者构建高质量的Occupancy数据集,从根本上解决模型误判问题。
2025-12-26 19:23:53
1219
原创 Apache Iceberg REST Catalog 介绍(包含独立服务搭建、StarRocks 元数据管理和 MinIO 存储)
本文介绍了基于Apache Iceberg的数据湖架构,重点讨论了将REST Catalog作为独立服务部署的方案。该架构采用StarRocks管理Iceberg元数据,MinIO作为对象存储,实现高性能分布式数据湖管理。文章详细说明了REST Catalog的服务架构优势(跨引擎互操作性、高效元数据管理),并提供了使用Docker部署Gravitino(REST服务)、MinIO和StarRocks的具体步骤。同时强调了生产环境中的安全配置和性能优化注意事项,为构建多引擎协作的数据湖方案提供了实践指导。
2025-12-26 18:34:22
1371
原创 自动驾驶圈的“撞名”惨案?深度解析两篇 SparseWorld 的含金量与路线之争
2025年末自动驾驶领域两篇重磅论文"撞车":理想汽车与同济大学合作的SparseWorld-TC聚焦规划端生成式世界模拟器,采用轨迹条件查询和全注意力时空融合,实现3-4%性能提升;地平线与华中科大的SparseWorld则针对车端部署优化,提出距离自适应感知(RAP)和回归式预测,推理速度提升7倍。两篇论文分别代表了"理论突破"和"工程极致"的不同路线,反映了行业对稀疏占用网络+世界模型的技术共识。巨头选择公开核心算法,实则是人才吸引、数据壁垒
2025-12-25 20:54:43
639
原创 深度学习架构与实现:从 PyTorch 基础到 Transformer 的代码实践指南
本文系统介绍了深度学习的PyTorch实践,从Tensor基础操作到Transformer架构实现。主要内容包括:1) PyTorch核心概念:Tensor运算、GPU加速、自动求导和神经网络构建;2) 深度学习基础:感知机、前馈网络、激活函数和CNN原理;3) Transformer详解:自注意力机制、多头注意力、位置编码和完整实现;4) 最小可运行Transformer案例:包含mask处理、AddNorm、FFN等关键模块;5) BERT等预训练模型简介。通过LeNet5和CopyTask等实战示例,
2025-12-22 00:41:38
1092
原创 [实战复盘] 性能提升 400 倍:我们为何放弃 Milvus 选择 PostgreSQL 做向量检索?
本文记录了一次从MySQL+Milvus到PostgreSQL(pgvector)的架构升级实践。针对AIoT业务中"结构化过滤+向量检索"的混合场景,原方案存在跨系统I/O瓶颈,导致查询耗时高达27秒。通过迁移1300万+数据至PostgreSQL并采用HNSW索引,实现了96%+召回率下0.03秒的查询响应,性能提升超400倍。测试表明,在1亿数据量级内,单机PostgreSQL优于分布式方案,同时大幅降低了内存消耗(从750GB降至26GB)。文章详细分析了HNSW算法原理和pgv
2025-12-18 20:06:25
1048
原创 具身智能的「黑客帝国」时刻:深度解析让VLA性能暴涨300%的世界模型
【摘要】最新研究GigaWorld-0和FutureX通过构建虚拟世界模型,实现了具身智能训练范式的突破。核心创新包括:1)采用动态掩码机制和流匹配技术,使扩散模型学会物理因果推理而非简单图像生成;2)在潜在空间进行高效推理,计算量比像素空间降低两个数量级;3)智能开关机制自动权衡计算成本与决策质量;4)FP8混合精度与稀疏注意力技术实现300%性能提升。该方案通过90%生成数据训练,解决了机器人领域的数据饥渴问题,为具身智能发展提供了新范式。
2025-12-16 09:15:00
852
1
原创 公司内网DolphinScheduler 与 Spark 在 Kubernetes 上的部署:一步步指南
本文详细介绍了在Kubernetes上部署Apache DolphinScheduler与Spark集群模式的完整方案。主要内容包括:1) 架构规划,将集群划分为控制区、计算区和存储区;2) 节点标签配置;3) 自定义Docker镜像构建;4) NFS共享存储设置;5) Helm部署配置;6) Spark任务参数优化。该方案实现了资源隔离、动态扩展和高性能计算,适用于ETL、机器学习等大数据处理场景,提供了生产环境部署的最佳实践指南。
2025-12-15 19:47:58
332
1
原创 TeleTron项目技术优化原理之上下文并行技术
本文介绍了Ulysses上下文并行机制在TeleTron中DiT模型处理长序列的核心原理。通过SeqAllToAll4D通信操作,在序列并行和头并行之间转换数据布局:初始将长序列分段存储在不同GPU上(序列并行),通过All-to-All交换数据转换为按注意力头划分(头并行),使每个GPU获得完整序列的局部头数据以计算全局Attention,计算完成后再转换回序列并行布局。对于图像等长序列必须执行两次All-to-All通信,而文本序列由于较短可直接本地处理,省去昂贵的通信开销。该机制通过动态维度转换解决了
2025-12-15 19:25:19
903
1
一个在有序行和列的矩阵中选择第k小元素的O(n)时间复杂度算法
2024-01-01
华为鸿蒙4谷歌鸿蒙GMS安装的安装包
2023-10-23
bitnami/zookeeper 3.6 docker镜像
2025-12-17
RT-2:Google DeepMind的机器人革命-如何让AI从网页知识中学会操控现实世界
2025-11-23
2025年ASR技术前沿:从端到端模型专利到AI语音就业机会,全方位解析自动语音识别的未来
2025-11-06
Chain-of-Verification (CoVe):让大模型“自我审校”的技术如何落地?
2025-03-19
基于对抗学习的多级交互融合网络用于高光谱和LiDAR数据融合分类
2025-02-17
基于李宏毅老师深度强化学习蘑菇书EasyRL
2025-02-07
扩散模型如何在智能交通(自动驾驶、交通仿真、轨迹预测等)领域发挥作用
2025-01-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅