DiDi_Tech的博客

原创 可观测平台如何存储时序曲线？滴滴实践全历程分享

滴滴的时序曲线量从 2017 年 到 2023 年增长了几十倍。整个过程中我们不断地调整和改进以应对这样的增长。例如时序数据库的选型从最初的 InfluxDB，到 RRDtool，又开发了内存 TSDB 分担查询压力，再到 2020 年开始使用 VictoriaMetrics。载体也从全公司最高配的物理机型到现在的全容器部署。其中经历了很多的思考和取舍，下文将按时间顺序，为大家讲述这一系列的故事。...

原创 滴滴可观测平台 Metrics 指标实时计算如何实现了又准又省？

在滴滴，可观测平台的 Metrics 数据有一些实时计算的需求，承载这些实时计算需求的是一套又一套的 Flink 任务。之所以会有多套 Flink 任务，是因为每个服务按照其业务观测需要不同的指标计算，也就对应了不同数据处理拓扑。我们尽力抽象用户相同的计算需求，不过由于 Flink 实时计算任务开发模式和实时计算框架的限制，这些观测指标计算任务设计的都不够通用。使用 Flink 做 Metrics...

原创 滴滴 OrangeFS 数据湖存储关键技术揭秘！

2015年，滴滴为解决小文件和图片的存储，成立 GIFT 小对象存储项目。伴随着业务不断成长，我们面临的挑战也越来越多，经历多次非结构化存储架构演进，具体如下图所示：随着公司不断发展，滴滴的业务有两个发展的趋势：云原生技术战略和新业务涌现，都给存储系统带来了新的挑战。在云原生战略中，业务的极致弹性是提高资源利用率降低成本的一个目标。保障极致弹性的基础是容器的轻量化，而要实现容器的轻量化就必须实现存...

原创 服务拓扑串联难？eBPF为滴滴可观测带来解题新思路

上篇文章我们讲到可观测性在滴滴的实践与落地，更多关注的是不同观测信号之间的关联关系。那服务与服务之间的关系又如何串联，业界当前爆火的 ebpf 又在滴滴有着怎样的应用，本文为你揭晓。背景业务介绍：业务接口调用观测滴滴可观测平台除了负责滴滴 MTL 能力的建设，还涉及更偏向业务侧的数据及服务接口调用观测。关于接口调用拓扑观测，这里先解释下以免引起歧义。如下图描述了一个调用关系：一次请求、响应过程这里...

原创 可观测平台：滴滴可观测性的实现

可观测性（Observability）是近年来备受关注的话题。那什么是可观测性？别急，让我们先从一个常见的场景开始：你是一个一线开发同学，在某天上班路上收到了一个电话报警，提示某个接口的错误数超过了阈值 30。得益于公司监控团队做的所谓 chatops，几经周折后，你终于在 IM 中打开了对应的监控图表，发现当前的错误数似乎比之前多了一些。作为服务开发者的你，昨天晚上部署了一个新版本，并且依赖的服...

原创 微服务井喷时代，我们如何规模化运维？

随着云原生技术发展及相关技术被越来越多运用到公司生产实践当中，有两种不可逆转的趋势：1、微服务数量越来越多。原来巨型单体服务不断被拆解成一个个微服务，在方便功能复用及高效迭代的同时，也给运维带来了不少挑战：成本问题：服务及基础资源依赖的生命周期该如何运转？如何防止孤儿资源存在，防止资源浪费？如何提升资源利用率？效率问题：单元化服务如何快速高效部署？服务梳理及批量搭建责任归属：面对数量级倍增的服务及...

原创 复杂业务逻辑下的智能告警与故障定位该怎么做？

随着出行业务的发展与行业技术的革新，滴滴在业务上和技术上都在与时俱进，这个过程中呈现了其独有的特点与难点。在业务上，滴滴既要有严谨的交易逻辑和计算复杂的业务系统，又要有强一致性事务等特性的在线系统，要保证这类系统的稳定是最有挑战的。在交易中，每一笔订单的完整性、每一个状态的正确性、每一次支付的准确性都不能有毫末之差 。除了在业务完备性上的挑战，滴滴出行业务还具有典型的早、晚高峰期和平峰期的潮汐现象...

原创 我们是如何做数据稳定性保障的？

滴滴客服业务属于强运营的业务，运营的核心抓手是指标数据。这些指标有的是为了达成战略目标的OKR指标，有的是为了达成与合作伙伴结算的结算指标，做好数据稳定性，对整个客服业务的运营来说至关重要。解读数据故障治理建设目标实时类指标，包括进线量、排队量、接起率、触达率等指标。滞后类指标，包括解决率、关单率、升级率、满意度、服务质量等指标。过去两年，为了保障业务的连续性，我们投入了比较多的精力在稳定性建设上...

原创 滴滴线下仿真环境实践：从方案设计到持续运营

在软件开发的过程中，测试环境无疑是一个关键的组成部分，其为开发、测试团队提供一个安全、隔离的环境来验证软件的功能、性能和稳定性。通常在业务发展的早期，整体的系统复杂度不高，可以依靠几个人或者一个团队维护一个专用的测试环境容器。然而，随着业务的不断成长, 一个业务场景可能会包含成百上千个依赖服务，至此问题变得复杂起来，这也成为许多大公司所面临的痛点。滴滴作为一家有一定体量的互联网公司，也会遇到类似的...

转载 网约车技术线岗位热招中...

原创 技术人职场进阶全方位总结，建议收藏！

职业发展是我们每个人都绕不开的课题。近期滴滴技术视频号联合Mactalk视频号策划了相关主题的直播，直播围绕“职业规划、技术见解、工作复盘、团队合作”等话题展开，现将部分内容整理如下。嘉宾信息：马冠南：现滴滴网约车质量效能负责人、首席工程师。史海峰：公众号“IT 民工闲话”作者，CCF TF 数字化转型与企业架构 SIG 主席。Q：你们在做职业规划时的锚点是什么？什么时间点会考虑换工作，以及换工作...

原创 程序员必备的30条防御式编程思想原则

在分析若干线上问题之后，会发现很多问题并不是非常罕见的难题，而是由一个个较为明显的小错误积累而来，为什么会犯小错误？或许是因为侥幸心理，或许是因为只看到了局部的利益。从某一个例子来看，确实会有“偶因一着错，便为人上人”的侥幸，但是统计大量案例可以发现，大部分情况并不会有正面的结果。本文汇编我在需求评审、编码、项目上线几个阶段总结的原则，这些原则虽然不能直接解决问题，但是可以尽可能地优化每一步行为，...

原创 压多少抗多少，滴滴全链路压测仿真度量体系建设

滴滴在重大节假日、活动前为保障线上系统稳定，需要通过全链路压测做多轮风险排查以及容量验收，我们经常听到这样的声音"你们全链路压测和线上业务场景有多大差异"、"是不是压测达到目标线上真的能抗这么大量"、"我的某某个模块感觉在压测期间压力比线上大很多呢" 等等。我们缺少一套能看清压测覆盖与真实系统下流量差异的手段，而主观验证存在很大误差和不合理性，所以我们通过构建一套压测仿真度量体系，科学评估压测覆盖...

原创 零代码新思路，基于LogicFlow的页面逻辑编排

在滴滴客服业务里，通过零代码的方式来配置页面已有丰富的落地经验，大大提高了服务用户的效率和质量。但是传统零代码在页面逻辑配置上表现并不好，很难做到灵活扩展。因此，滴滴客服技术团队探索出一种新思路，用流程编排的方式来编排页面的逻辑，解决零代码的难扩展问题。本文将从复杂交互的难配置困境入手，介绍解决思路和方案，并详细展开如何利用客服技术团队已开源的流程图编辑框架LogicFlow，实现与研发过程中开发...

转载 你是我们要找的滴滴未来精英吗？

原创 数据安全加固：深入解析滴滴ES安全认证技术方案

前文分别介绍了滴滴自研的ES强一致性多活是如何实现的、以及如何提升ES的性能潜力。由于ES具有强大的搜索和分析功能，同时也因其开源和易于使用而成为黑客攻击的目标。近些年，业界ES数据泄露事件频发, 以下是一些比较严重的数据泄露案件：2021年12月，Socialarks泄露了400GB数据，由于ElasticSearch数据库设置错误，泄露了超过3.18亿条用户记录，涉及到Instagram、领英...

原创 如何让ES低成本、高性能？滴滴落地ZSTD压缩算法的实践分享

前文分别介绍了滴滴自研的ES强一致性多活是如何实现的、以及如何提升ES的性能潜力。由于滴滴ES日志场景每天写入量在5PB-10PB量级，写入压力和业务成本压力大，为了提升ES的写入性能，我们让ES支持ZSTD压缩算法，本篇文章详细展开滴滴在落地ZSTD压缩算法上的思考和实践。//背 景//ES通过索引（Index）对外提供数据检索能力，索引是用于组织和存储数据的逻辑单元。每个索引由若干个分片（...

原创 解锁滴滴ES的性能潜力：JDK 17和ZGC的升级之路

前文介绍了滴滴自研的ES强一致性多活是如何实现的，其中也提到为了提升查询性能和解决查询毛刺问题，滴滴ES原地升级JDK17和ZGC，在这个过程中我们遇到了哪些问题，怎样解决的，以及最终上线效果如何，这篇文章就带大家深入了解。背景滴滴ES在2020年的时候由2.X升级到7.6.0，该版本是在官方7.6.0的基础上改造而来，支持的是JDK11，采用的垃圾回收器是G1。ES的业务主要分为两类，一类是日志...

原创 探索ES高可用：滴滴自研跨数据中心复制技术详解

Elasticsearch 是一个基于Lucene构建的开源、分布式、RESTful接口的全文搜索引擎，其每个字段均可被索引，且能够横向扩展至数以百计的服务器存储以及处理TB级的数据，其可以在极短的时间内存储、搜索和分析大量的数据。滴滴ES发展至今，承接了公司绝大部分端上检索和日志场景，包括地图POI检索、订单检索、客服、内搜及把脉ELK场景等。近几年围绕稳定性、成本、效率和数据安全这几个方向持续...

原创 如何基于eBPF实现跨语言、无侵入的流量录制？

测试是产品发布上线的一个重要环节，但随着业务规模和复杂度不断提高，每次上线需要回归的功能越来越多，给测试工作带来了巨大的压力。在这样的大背景下，越来越多的团队开始使用流量回放对服务进行回归测试。在建设流量回放能力之前，我们必须将线上服务的流量录制下来。通常要结合对流量特征的要求、实现成本、对业务的侵入性等方面综合考虑，选择不同的实现方式。对于 Java 和 PHP 语言，目前业界已经有比较成熟的解...

原创 滴滴数据服务体系建设实践

什么是数据服务化大数据开发的主要流程分为数据集成、数据开发、数据生产和数据回流四个阶段。数据集成打通了业务系统数据进入大数据环境的通道，通常包含周期性导入离线表、实时采集并清洗导入离线表和实时写入对应数据源三种方式，当前滴滴内部同步中心平台已经提供了MySQL、Oracle、MongoDB、Publiclog等多种数据源的数据采集能力；数据开发/生产，用户可以构建实时、离线两种数据仓库，并基于SQ...

原创 服务发布后接口超时？两个注解带你起飞

不知道大家有没有碰到这样的问题：每次服务发布，在启动之后的一小段时间内，各种接口出现一些或多或少的超时，就像下图所示，凸起的线条是刚发布的机器的接口耗时，不同颜色代表不同机器：直到一段时间后，接口耗时才逐渐回到正常水位。往往在一些比较敏感的业务场景下，这种发布时的耗时突刺带来的影响，就不是那么可以简单容忍了。就拿实时风控场景来打个比方，黑灰产分子逐渐摸索到，你页面某个营销抢券活动，每个月底凌晨0点...

原创 网约车服务端线上流量巡检与测试验收技术

本文提出了测试流量触发与测试结果分离的思想，并基于该思想做了两次实践，分别是在线上以更快召回代码bug为目标的线上流量巡检，在线下以提高测试效率为目标的测试流量验收。

原创 网约车订单自助测试演进与落地实践

1►业务背景网约车业务作为滴滴的核心业务，系统架构复杂、整个订单链路涉及众多下游服务，整体迭代频率高，同时在产品形态上通过不同品类提供差异化服务能力，整体品类从最初的专车、快车延展到如今多个品类，这就导致在日常的功能迭代中需要实现特定品类场景或者特定功能测试的成本非常高。举几个典型的例子：A拼车场景：需要两个乘客同时登陆、同区域发单，由同一个司机实现两个订单的接单并完成履约。B连环派订单场景：需要...

原创 滴滴跨端渲染平台的建设方案及落地

导读由于网约车业务本身的复杂性以及我们垂直式的领域化架构约束，网约车服务端技术团队在对端渲染业务需求的迭代过程中，碰到了一系列的问题，影响了研发效率。本文从这些具体问题入手，分析产生的原因，介绍我们的解决思路和方案，以及方案的建设落地过程。1. 服务端架构演进回顾过去几年，滴滴网约车为了满足不同用户的个性化出行需求，逐步推出了越来越丰富的品类和功能。随着品类功能的不断增加，我们系统的复杂度也越来越...

原创 我如何用两行代码节省了30%的CPU

将滴滴技术设为“星标⭐️”第一时间收到文章更新ClickHouse 是一个开源的用于实时数据分析高性能列式分布式数据库，支持向量化计算引擎、多核并行计算、高压缩比等，在分析型数据库中单表查询性能第一。滴滴从2020年开始引进Clickhouse，服务网约车及日志检索等核心业务，节点数300+，每天PB级别的数据写入，每天千万级别的查询量，其中最大的集群有200+节点。本篇文章主要介绍Clickho...

原创 eBPF内核技术在滴滴云原生的落地实践

将滴滴技术设为“星标⭐️”第一时间收到文章更新导读eBPF是Linux内核革命性技术，能够安全高效地扩展内核能力，应用广泛，尤其是在云原生可观测性领域的应用已经成为行业热点。在滴滴云原生环境中，eBPF技术进行了业务实践和内源共建，HuaTuo eBPF 平台快速落地并取得初步收益，目前已经支持云原生关键组件，诸如服务访问关系拓扑、容器安全、宿主机安全、网络诊断、根因定位等业务，HuaTuo也是滴...

原创 DoKit：一机多控WebView无侵入注入JS｜滴滴开源

将滴滴技术设为“星标⭐️”第一时间收到文章更新导读自2018年正式对外开源以来，DoKit经历了五年的打磨，已经发展成一个相对完整的生态，支持六大平台（Android、iOS、Web、小程序、Flutter和PC），是滴滴开源委员会的精品孵化项目。在外部被众多头部企业广泛使用并获得了良好的口碑。在滴滴内部，DoKit已经在所有业务线和App中落地使用，基本覆盖所有日常开发和测试场景，提升了研发和质...

转载 滴滴CTO张博：滴滴将进一步加强产学研合作，促进产学研合作生态发展

2023年6月21日，首届滴滴产学研合作论坛暨盖亚灯塔计划2021-2022年度杰出项目颁奖典礼在北京成功举办。滴滴CTO兼滴滴自动驾驶CEO、滴滴产学研合作委员会荣誉主席张博，滴滴地图事业部负责人、滴滴产学研合作委员会主席柴华，滴滴科技生态与发展部总监吴国斌等滴滴产学研合作委员会委员出席。广东工业大学蔡瑞初教授、北京交通大学高睿鹏副教授、清华大学李升波教授及天津大学王龙标教授等盖亚科研合作伙伴受...

转载 直播预告｜滴滴业务架构与工程架构演进

关注滴滴技术视频号，预约本期直播，精彩不错过~6月27日，19:30-21:00 不见不散哟！

原创 滴滴开源委员会主席杨毅谈滴滴开源文化与运转模式

2023年6月15日，中国开源软件推进联盟主办的2023（第十八届）开源中国开源世界高峰论坛在北京召开。本届开源世界高峰论坛围绕“开源创新、数字化转型、智能化重构”展开，探索开源在不确定性的互联网时代，数字化变革、产业变革背景下的生态发展模式，旨在助力产业链协同创新，不断推动开源生态繁荣。在本次论坛上，中国开源软件推进联盟主席陆首群发表了开场致词，他表示，今天人们更加重视开源的溢出效应，开源创新已...

原创 滴滴实时数据链路建设组件选型实践篇

写在前面随着滴滴内部技术栈的不断统一，实时相关技术组件资源的不断整合，各业务线实时数据相关开发经验的不断沉淀，基本形成了一套面向公司不同业务场景需求的最佳技术选型和具体落地方案。但同时我们也发现，大部分实时开发同学在做实时数据建设过程中会笼统的把实时数据建设等同于 flink 数据开发，常常把实时数据处理过程中的其他相关组件放在边缘位置，无法高效的整合数据处理组件来完成不同业务场景的实时需求。为此...

原创 初识滴滴交易策略之三：供需调节

本篇文章分为：1.什么是交易市场中的供需？供需的动态性供需的相互作用2.滴滴业务场景涉及的供需调节技术供需感知和供需预测时序预测供需调节以提升市场匹配程度，保持供需平衡整数规划为司机规划更好的出车方式模仿学习（Imitation Learning）离线强化学习（Offline Reinforcement Learning）3. 总结1. 什么是交易市场中的供需？交易市场是由买方和卖方进行交易而形成...

原创 基于短期替代变量的因果效应估计

本篇文章分为：1.前言2.模型方案2.1替代指数背景2.2替代指数的基本设定2.3模型结构 3.评估4.总结与展望1. 前言在网约车双边交易市场中，量化策略对平衡市场供需的影响起着重要的作用。对市场供需的影响分为两种情况：短期价值：当前策略对当前供需的即时干预影响。长期价值：当前策略对未来一段时间供需的长期干预影响。从技术角度来说，我们可以将策略定义为处理变量...

原创 小程序框架Mpx的下一代脚手架升级之路｜滴滴开源

导读Mpx开源之路已经走过五个年头，目前支持了滴滴内部全量的小程序业务开发，是滴滴开源委员会孵化的精品项目。2022年至今，我们对 Mpx 框架进行了多项重要功能升级，包括组合式API开发规范、分包异步构建支持、单元测试能力建设和今天要重点介绍的@mpxjs/cli脚手架升级，希望把更新更好的开发能力与体验带给小程序开发者用户。小程序技术自2017年发布以来，因其跨平台、使用方便快捷、优良用户体验...

原创 滴滴时空供需系统的设计和演进

本篇文章分为：1.背景介绍2.系统框架的演进2.1 旧系统框架的不足2.2新系统框架的优势3.系统建设思考3.1 存储治理3.2性能优化3.3 研发提效：配置化能力升级3.总结1.背景介绍时空供需系统(SDS, supply and demand system)是为了满足滴滴网约车业务中供需特征需求而设计和研发的系统。可以在空间（地图网格、区县、城市）...

原创 初识滴滴交易策略之二：司乘匹配

‍前文（初识滴滴交易策略之一：交易市场)整体介绍了交易市场的定义、特点、技术特点和技术领域。在交易市场中，市场交易撮合——通常称之为“派单”——无疑是最重要的环节，以下将介绍滴滴交易市场中的司乘匹配技术。对滴滴来说，司乘匹配所解决的最常见问题就是：“当乘客发出网约车订单时，应该将这些订单分配给哪些在线司机？”这个问题看似简单，很多人脑海中立即想到的是“只需要找到最近的司机就行了”。的确，“就近派单...

转载 直播预告｜滴滴交易市场核心模块的设计与实现

关注滴滴技术视频号，并预约本期直播，精彩不错过~‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍5月18日，19:30-21:00 不见不散哟！

原创 初识滴滴交易策略之一：交易市场

初识系列前言滴滴作为一家共享出行公司，利用信息技术构建了实时的、智能的在线交易市场，在这个庞大运转的市场之中，滴滴秉承着用户价值至上的宗旨，不断通过技术提升来实现更高效的运转效率和更贴心的用户体验。为了使得大家能够了解在线交易市场及其技术挑战，开拓技术视野，增进技术交流，故分享本系列文章，完整介绍交易市场策略的各主要领域，分享已有探索经验，以飨读者。本系列文章，虽然涉及较多专业技术，但行文力求概略...

原创 给职场新人的几点小建议：不要去问懒问题，不要怕问傻问题

从学生到职场人的转变是否顺利，一定程度上决定了一个人的长期职业发展。前两天团队里刚入职一位实习生，之前没有实习经历，给了一些叮嘱。周末又与几位朋友聊起，大家又给些很好的输入，整理如下，抛砖引玉，期待大家更多的讨论。01工作和学习的三个区别1工作与学校里学习（一些博士生除外）最大的区别在于，工作中的问题多数是开放性的、不确定性的（学校里的问题几乎都是封闭性的，确定性的），好好体会这一点，或许可以帮你...