DiDi_Tech的博客

原创 滴滴线下仿真环境实践：从方案设计到持续运营

在软件开发的过程中，测试环境无疑是一个关键的组成部分，其为开发、测试团队提供一个安全、隔离的环境来验证软件的功能、性能和稳定性。通常在业务发展的早期，整体的系统复杂度不高，可以依靠几个人或者一个团队维护一个专用的测试环境容器。然而，随着业务的不断成长, 一个业务场景可能会包含成百上千个依赖服务，至此问题变得复杂起来，这也成为许多大公司所面临的痛点。滴滴作为一家有一定体量的互联网公司，也会遇到类似的...

转载 网约车技术线岗位热招中...

原创 技术人职场进阶全方位总结，建议收藏！

职业发展是我们每个人都绕不开的课题。近期滴滴技术视频号联合Mactalk视频号策划了相关主题的直播，直播围绕“职业规划、技术见解、工作复盘、团队合作”等话题展开，现将部分内容整理如下。嘉宾信息：马冠南：现滴滴网约车质量效能负责人、首席工程师。史海峰：公众号“IT 民工闲话”作者，CCF TF 数字化转型与企业架构 SIG 主席。Q：你们在做职业规划时的锚点是什么？什么时间点会考虑换工作，以及换工作...

原创 程序员必备的30条防御式编程思想原则

在分析若干线上问题之后，会发现很多问题并不是非常罕见的难题，而是由一个个较为明显的小错误积累而来，为什么会犯小错误？或许是因为侥幸心理，或许是因为只看到了局部的利益。从某一个例子来看，确实会有“偶因一着错，便为人上人”的侥幸，但是统计大量案例可以发现，大部分情况并不会有正面的结果。本文汇编我在需求评审、编码、项目上线几个阶段总结的原则，这些原则虽然不能直接解决问题，但是可以尽可能地优化每一步行为，...

原创 压多少抗多少，滴滴全链路压测仿真度量体系建设

滴滴在重大节假日、活动前为保障线上系统稳定，需要通过全链路压测做多轮风险排查以及容量验收，我们经常听到这样的声音"你们全链路压测和线上业务场景有多大差异"、"是不是压测达到目标线上真的能抗这么大量"、"我的某某个模块感觉在压测期间压力比线上大很多呢" 等等。我们缺少一套能看清压测覆盖与真实系统下流量差异的手段，而主观验证存在很大误差和不合理性，所以我们通过构建一套压测仿真度量体系，科学评估压测覆盖...

原创 零代码新思路，基于LogicFlow的页面逻辑编排

在滴滴客服业务里，通过零代码的方式来配置页面已有丰富的落地经验，大大提高了服务用户的效率和质量。但是传统零代码在页面逻辑配置上表现并不好，很难做到灵活扩展。因此，滴滴客服技术团队探索出一种新思路，用流程编排的方式来编排页面的逻辑，解决零代码的难扩展问题。本文将从复杂交互的难配置困境入手，介绍解决思路和方案，并详细展开如何利用客服技术团队已开源的流程图编辑框架LogicFlow，实现与研发过程中开发...

转载 你是我们要找的滴滴未来精英吗？

原创 数据安全加固：深入解析滴滴ES安全认证技术方案

前文分别介绍了滴滴自研的ES强一致性多活是如何实现的、以及如何提升ES的性能潜力。由于ES具有强大的搜索和分析功能，同时也因其开源和易于使用而成为黑客攻击的目标。近些年，业界ES数据泄露事件频发, 以下是一些比较严重的数据泄露案件：2021年12月，Socialarks泄露了400GB数据，由于ElasticSearch数据库设置错误，泄露了超过3.18亿条用户记录，涉及到Instagram、领英...

原创 如何让ES低成本、高性能？滴滴落地ZSTD压缩算法的实践分享

前文分别介绍了滴滴自研的ES强一致性多活是如何实现的、以及如何提升ES的性能潜力。由于滴滴ES日志场景每天写入量在5PB-10PB量级，写入压力和业务成本压力大，为了提升ES的写入性能，我们让ES支持ZSTD压缩算法，本篇文章详细展开滴滴在落地ZSTD压缩算法上的思考和实践。//背 景//ES通过索引（Index）对外提供数据检索能力，索引是用于组织和存储数据的逻辑单元。每个索引由若干个分片（...

原创 解锁滴滴ES的性能潜力：JDK 17和ZGC的升级之路

前文介绍了滴滴自研的ES强一致性多活是如何实现的，其中也提到为了提升查询性能和解决查询毛刺问题，滴滴ES原地升级JDK17和ZGC，在这个过程中我们遇到了哪些问题，怎样解决的，以及最终上线效果如何，这篇文章就带大家深入了解。背景滴滴ES在2020年的时候由2.X升级到7.6.0，该版本是在官方7.6.0的基础上改造而来，支持的是JDK11，采用的垃圾回收器是G1。ES的业务主要分为两类，一类是日志...

原创 探索ES高可用：滴滴自研跨数据中心复制技术详解

Elasticsearch 是一个基于Lucene构建的开源、分布式、RESTful接口的全文搜索引擎，其每个字段均可被索引，且能够横向扩展至数以百计的服务器存储以及处理TB级的数据，其可以在极短的时间内存储、搜索和分析大量的数据。滴滴ES发展至今，承接了公司绝大部分端上检索和日志场景，包括地图POI检索、订单检索、客服、内搜及把脉ELK场景等。近几年围绕稳定性、成本、效率和数据安全这几个方向持续...

原创 如何基于eBPF实现跨语言、无侵入的流量录制？

测试是产品发布上线的一个重要环节，但随着业务规模和复杂度不断提高，每次上线需要回归的功能越来越多，给测试工作带来了巨大的压力。在这样的大背景下，越来越多的团队开始使用流量回放对服务进行回归测试。在建设流量回放能力之前，我们必须将线上服务的流量录制下来。通常要结合对流量特征的要求、实现成本、对业务的侵入性等方面综合考虑，选择不同的实现方式。对于 Java 和 PHP 语言，目前业界已经有比较成熟的解...

原创 滴滴数据服务体系建设实践

什么是数据服务化大数据开发的主要流程分为数据集成、数据开发、数据生产和数据回流四个阶段。数据集成打通了业务系统数据进入大数据环境的通道，通常包含周期性导入离线表、实时采集并清洗导入离线表和实时写入对应数据源三种方式，当前滴滴内部同步中心平台已经提供了MySQL、Oracle、MongoDB、Publiclog等多种数据源的数据采集能力；数据开发/生产，用户可以构建实时、离线两种数据仓库，并基于SQ...

原创 服务发布后接口超时？两个注解带你起飞

不知道大家有没有碰到这样的问题：每次服务发布，在启动之后的一小段时间内，各种接口出现一些或多或少的超时，就像下图所示，凸起的线条是刚发布的机器的接口耗时，不同颜色代表不同机器：直到一段时间后，接口耗时才逐渐回到正常水位。往往在一些比较敏感的业务场景下，这种发布时的耗时突刺带来的影响，就不是那么可以简单容忍了。就拿实时风控场景来打个比方，黑灰产分子逐渐摸索到，你页面某个营销抢券活动，每个月底凌晨0点...

原创 网约车服务端线上流量巡检与测试验收技术

本文提出了测试流量触发与测试结果分离的思想，并基于该思想做了两次实践，分别是在线上以更快召回代码bug为目标的线上流量巡检，在线下以提高测试效率为目标的测试流量验收。

原创 网约车订单自助测试演进与落地实践

1►业务背景网约车业务作为滴滴的核心业务，系统架构复杂、整个订单链路涉及众多下游服务，整体迭代频率高，同时在产品形态上通过不同品类提供差异化服务能力，整体品类从最初的专车、快车延展到如今多个品类，这就导致在日常的功能迭代中需要实现特定品类场景或者特定功能测试的成本非常高。举几个典型的例子：A拼车场景：需要两个乘客同时登陆、同区域发单，由同一个司机实现两个订单的接单并完成履约。B连环派订单场景：需要...

原创 滴滴跨端渲染平台的建设方案及落地

导读由于网约车业务本身的复杂性以及我们垂直式的领域化架构约束，网约车服务端技术团队在对端渲染业务需求的迭代过程中，碰到了一系列的问题，影响了研发效率。本文从这些具体问题入手，分析产生的原因，介绍我们的解决思路和方案，以及方案的建设落地过程。1. 服务端架构演进回顾过去几年，滴滴网约车为了满足不同用户的个性化出行需求，逐步推出了越来越丰富的品类和功能。随着品类功能的不断增加，我们系统的复杂度也越来越...

原创 我如何用两行代码节省了30%的CPU

将滴滴技术设为“星标⭐️”第一时间收到文章更新ClickHouse 是一个开源的用于实时数据分析高性能列式分布式数据库，支持向量化计算引擎、多核并行计算、高压缩比等，在分析型数据库中单表查询性能第一。滴滴从2020年开始引进Clickhouse，服务网约车及日志检索等核心业务，节点数300+，每天PB级别的数据写入，每天千万级别的查询量，其中最大的集群有200+节点。本篇文章主要介绍Clickho...

原创 eBPF内核技术在滴滴云原生的落地实践

将滴滴技术设为“星标⭐️”第一时间收到文章更新导读eBPF是Linux内核革命性技术，能够安全高效地扩展内核能力，应用广泛，尤其是在云原生可观测性领域的应用已经成为行业热点。在滴滴云原生环境中，eBPF技术进行了业务实践和内源共建，HuaTuo eBPF 平台快速落地并取得初步收益，目前已经支持云原生关键组件，诸如服务访问关系拓扑、容器安全、宿主机安全、网络诊断、根因定位等业务，HuaTuo也是滴...

原创 DoKit：一机多控WebView无侵入注入JS｜滴滴开源

将滴滴技术设为“星标⭐️”第一时间收到文章更新导读自2018年正式对外开源以来，DoKit经历了五年的打磨，已经发展成一个相对完整的生态，支持六大平台（Android、iOS、Web、小程序、Flutter和PC），是滴滴开源委员会的精品孵化项目。在外部被众多头部企业广泛使用并获得了良好的口碑。在滴滴内部，DoKit已经在所有业务线和App中落地使用，基本覆盖所有日常开发和测试场景，提升了研发和质...

转载 滴滴CTO张博：滴滴将进一步加强产学研合作，促进产学研合作生态发展

2023年6月21日，首届滴滴产学研合作论坛暨盖亚灯塔计划2021-2022年度杰出项目颁奖典礼在北京成功举办。滴滴CTO兼滴滴自动驾驶CEO、滴滴产学研合作委员会荣誉主席张博，滴滴地图事业部负责人、滴滴产学研合作委员会主席柴华，滴滴科技生态与发展部总监吴国斌等滴滴产学研合作委员会委员出席。广东工业大学蔡瑞初教授、北京交通大学高睿鹏副教授、清华大学李升波教授及天津大学王龙标教授等盖亚科研合作伙伴受...

转载 直播预告｜滴滴业务架构与工程架构演进

关注滴滴技术视频号，预约本期直播，精彩不错过~6月27日，19:30-21:00 不见不散哟！

原创 滴滴开源委员会主席杨毅谈滴滴开源文化与运转模式

2023年6月15日，中国开源软件推进联盟主办的2023（第十八届）开源中国开源世界高峰论坛在北京召开。本届开源世界高峰论坛围绕“开源创新、数字化转型、智能化重构”展开，探索开源在不确定性的互联网时代，数字化变革、产业变革背景下的生态发展模式，旨在助力产业链协同创新，不断推动开源生态繁荣。在本次论坛上，中国开源软件推进联盟主席陆首群发表了开场致词，他表示，今天人们更加重视开源的溢出效应，开源创新已...

原创 滴滴实时数据链路建设组件选型实践篇

写在前面随着滴滴内部技术栈的不断统一，实时相关技术组件资源的不断整合，各业务线实时数据相关开发经验的不断沉淀，基本形成了一套面向公司不同业务场景需求的最佳技术选型和具体落地方案。但同时我们也发现，大部分实时开发同学在做实时数据建设过程中会笼统的把实时数据建设等同于 flink 数据开发，常常把实时数据处理过程中的其他相关组件放在边缘位置，无法高效的整合数据处理组件来完成不同业务场景的实时需求。为此...

原创 初识滴滴交易策略之三：供需调节

本篇文章分为：1.什么是交易市场中的供需？供需的动态性供需的相互作用2.滴滴业务场景涉及的供需调节技术供需感知和供需预测时序预测供需调节以提升市场匹配程度，保持供需平衡整数规划为司机规划更好的出车方式模仿学习（Imitation Learning）离线强化学习（Offline Reinforcement Learning）3. 总结1. 什么是交易市场中的供需？交易市场是由买方和卖方进行交易而形成...

原创 基于短期替代变量的因果效应估计

本篇文章分为：1.前言2.模型方案2.1替代指数背景2.2替代指数的基本设定2.3模型结构 3.评估4.总结与展望1. 前言在网约车双边交易市场中，量化策略对平衡市场供需的影响起着重要的作用。对市场供需的影响分为两种情况：短期价值：当前策略对当前供需的即时干预影响。长期价值：当前策略对未来一段时间供需的长期干预影响。从技术角度来说，我们可以将策略定义为处理变量...

原创 小程序框架Mpx的下一代脚手架升级之路｜滴滴开源

导读Mpx开源之路已经走过五个年头，目前支持了滴滴内部全量的小程序业务开发，是滴滴开源委员会孵化的精品项目。2022年至今，我们对 Mpx 框架进行了多项重要功能升级，包括组合式API开发规范、分包异步构建支持、单元测试能力建设和今天要重点介绍的@mpxjs/cli脚手架升级，希望把更新更好的开发能力与体验带给小程序开发者用户。小程序技术自2017年发布以来，因其跨平台、使用方便快捷、优良用户体验...

原创 滴滴时空供需系统的设计和演进

本篇文章分为：1.背景介绍2.系统框架的演进2.1 旧系统框架的不足2.2新系统框架的优势3.系统建设思考3.1 存储治理3.2性能优化3.3 研发提效：配置化能力升级3.总结1.背景介绍时空供需系统(SDS, supply and demand system)是为了满足滴滴网约车业务中供需特征需求而设计和研发的系统。可以在空间（地图网格、区县、城市）...

原创 初识滴滴交易策略之二：司乘匹配

‍前文（初识滴滴交易策略之一：交易市场)整体介绍了交易市场的定义、特点、技术特点和技术领域。在交易市场中，市场交易撮合——通常称之为“派单”——无疑是最重要的环节，以下将介绍滴滴交易市场中的司乘匹配技术。对滴滴来说，司乘匹配所解决的最常见问题就是：“当乘客发出网约车订单时，应该将这些订单分配给哪些在线司机？”这个问题看似简单，很多人脑海中立即想到的是“只需要找到最近的司机就行了”。的确，“就近派单...

转载 直播预告｜滴滴交易市场核心模块的设计与实现

关注滴滴技术视频号，并预约本期直播，精彩不错过~‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍5月18日，19:30-21:00 不见不散哟！

原创 初识滴滴交易策略之一：交易市场

初识系列前言滴滴作为一家共享出行公司，利用信息技术构建了实时的、智能的在线交易市场，在这个庞大运转的市场之中，滴滴秉承着用户价值至上的宗旨，不断通过技术提升来实现更高效的运转效率和更贴心的用户体验。为了使得大家能够了解在线交易市场及其技术挑战，开拓技术视野，增进技术交流，故分享本系列文章，完整介绍交易市场策略的各主要领域，分享已有探索经验，以飨读者。本系列文章，虽然涉及较多专业技术，但行文力求概略...

原创 给职场新人的几点小建议：不要去问懒问题，不要怕问傻问题

从学生到职场人的转变是否顺利，一定程度上决定了一个人的长期职业发展。前两天团队里刚入职一位实习生，之前没有实习经历，给了一些叮嘱。周末又与几位朋友聊起，大家又给些很好的输入，整理如下，抛砖引玉，期待大家更多的讨论。01工作和学习的三个区别1工作与学校里学习（一些博士生除外）最大的区别在于，工作中的问题多数是开放性的、不确定性的（学校里的问题几乎都是封闭性的，确定性的），好好体会这一点，或许可以帮你...

原创 滴滴在流量链路检测架构设计及实践

桔妹导读：流量数据作为整个数据体系构建的基石之一，为公司的用户增长、产品优化、智能运营及科学决策等方面，提供了可靠的业务分析及决策依据。业务层面对于流量数据也有较高的要求，比如全面性、准确...

原创 滴滴基于Binlog的采集架构与实践

桔妹导读：大数据是这个时代赋予我们的强大引擎，在数字化大潮中 ，借助数据驱动的方法推动业务乘风破浪，几乎是每家公司的核心战略。数据驱动的落脚点是数据，能否将组织或业务运行过程中的信息，进行...

转载 揭秘 Hummer：Tenon 是什么？

桔妹导读：Hummer 是一套高性能高可用超轻量的跨端开发框架，一套代码可以同时开发 Android 和 iOS 应用。而 Tenon 是基于 Hummer 的一套面向前端的 MVVM 增...

转载 我的爸爸，在滴滴做自动驾驶

桔妹导读：在这个特别的日子，回顾过往，成长总是离不开父亲的守护。正如全新自动驾驶硬件平台——滴滴双子星的诞生（点击此处了解滴滴双子星），倾注了所有参与者的努力。今天接受采访的主人公们，在其...

原创 数据可视化大屏产品在滴滴的技术探索

桔妹导读：现代的数据可视化产品相较于之前的仪表盘应用，在数据方面呈现更加生动、数据实时性高、交互更为友好、效果更加震撼等特点，越来越多的人倾向于通过各类可视化产品使静态的数据“活”起来。基...

原创 共享两轮车供需算法浅谈

桔妹导读：共享两轮车作为短途出行的重要工具，为用户的城市出行提供了极大便捷。由于用户的骑行会使得车辆在城市中的分布产生差异，所以为了更好地服务、满足用户的短途出行需求，需要一线运维同学对车...

原创 当小情怀遇到滴滴工程师

桔妹导读：最近对产研技术同学的印象有点迷。有人说他们讲逻辑、很理性，不浪漫，结果看看520，表白撒狗粮各个有一套。（详情可阅读《五年，他们从应届生成为了滴滴的技术扛把子》《高甜预警！16个...

原创 滴滴在测试环境上的探索与实践

桔妹导读：持续稳定并体验良好的测试环境，一直是影响产品迭代效率和稳定性的关键环节，也是DevOps自动化测试环节中最具挑战的一环，滴滴在测试环境上的探索从公司成立之初就从未停止，在这过程中...