滴滴技术沙龙第1期：聚焦大数据架构和实践

滴滴技术沙龙是由滴滴出行工程委员会发起主办的高质量技术交流活动。每期围绕一个主题，由滴滴出行和其他互联网公司的专家以独立演讲、Q&A、开放讨论等方式，与领域内的中高端技术人员进行自由、深度的交流和学习。

近年来，滴滴出行业务高速发展，在国内已经覆盖了400多个城市，有4亿多用户，并且正在向国际化迈进。滴滴在这一过程中积累了大量的数据：140亿+日均定位、200亿+每日路径规划请求、2500万+日峰值订单、每日新增超过70T的轨迹原始数据…滴滴出行技术团队每天高效处理海量且持续增长的大数据，用以不断提升服务效率和用户体验。从对大数据的实时处理技术和规模上，都已经达到了国内的领先水平。

大数据技术正日益成为各互联网公司的看家本领，今日头条和魅族在这方面也积累了丰富的实战经验。因此，本期技术沙龙邀请到了滴滴出行、今日头条、魅族负责大数据架构平台技术的核心工程师，围绕生产级环境的应用案例，就如何研发、部署、应用大数据技术，计算平台架构设计，系统性能升级优化，应用场景实践，产品哲学思考以及如何填“坑”等经验，与现场参会者深入分享。

欢迎大家报名参加滴滴技术沙龙第1期：大数据架构和实践主题交流活动。

活动议程

活动时间及地点
2017年11月18日（周六）13:30-18:00
滴滴大厦2号楼（暨尚东数字山谷B区2号楼）5层分享厅

演讲议题/讲师简介

主题一：魅族大数据开发平台架构实践
演讲内容分为四个部分。首先，介绍魅族大数据开发平台（包括实时/离线）在产品体系中的地位和功能。其次，重点讲解魅族实时/离线数据传输、计算平台的架构设计思想，以及在模型设计、调度策略、监控告警、跨机房、协议设计、数据对账等方面的考量，踩过的坑和解决之道。此外，还将介绍魅族大数据开发平台的安全技术实践（Kerberos&KDC、Ranger）及平台应用经验。最后，阐述产品技术的未来规划及思考。

讲师简介：张欢引，魅族数据平台研发主管、架构师。拥有11年互联网从业经验，近4年大数据平台架构及团队管理经验；擅长C++代码开发、平台架构设计、项目推进及管理。

主题二：深入剖析大数据任务调度系统在滴滴的应用和架构实现
演讲主要从应用场景、产品演变、架构设计和实现方式几个方面来介绍滴滴大数据任务调度系统（Capricornus）。主要内容包括：
1.大数据任务调度系统如何承载滴滴几乎所有业务线、全部数仓任务、所有核心报表每天40000+任务的无差错调度；
2.滴滴通过什么依赖模型让各个部门各条业务线任务轻松关联起来，而不需要每个任务开发者都必须了解上下游任务的内容；
3.如何让数据回溯因有调度系统而变得简单；
4.调度系统通过何种方式来降低任务雪崩概率、雪崩后如何通过调度系统快速恢复；
5.如何做到每次系统架构升级对用户完全透明，系统间的各个组件如何解耦；
6.关于滴滴任务调度系统现在的痛点和未来规划。

讲师简介：王小静，滴滴出行大数据管理平台负责人，负责滴滴大数据核心系统——任务调度系统（Capricornus）、大数据权限管理中心D++、开发平台等平台的建设；多次作为核心人员参与滴滴大数据机房异地迁移工作，见证了Capricornus如何从三年前每天调度数百个任务到现在每天完成4万+任务无差错调度的全过程。

主题三：今日头条的Hadoop Yarn/HDFS实践
演讲分为三个部分。第一部分是Hadoop技术概述和演进，简要介绍Hadoop平台架构、发展历史以及重要演进；第二部分重点介绍Hadoop在今日头条的使用，包括平台技术架构特点，如何支持今日头条1亿+DAU的产品，以及实践Hadoop时遇到了哪些挑战，如何解决；第三部分是对未来的规划和思考。

讲师简介：徐鹏，今日头条基础架构研发工程师，长期关注大数据处理、分布式系统的研究以及Hadoop相关技术的应用与开发，《HDFS 2.X 源码剖析》作者。

主题四：速度与激情——滴滴实时计算之道
演讲首先从技术和产品两个方面，介绍滴滴实时计算解决方案的演进历程。其次，围绕“数据引力”，探讨如何在云端构建适合大数据实时分析场景的工具链，及其背后的产品哲学。再有，介绍滴滴Woater实时计算平台所提供的能力，以及在滴滴出行内部具体的应用场景。最后，分享未来的产品规划和思考。

讲师简介：艾毅，滴滴出行实时计算平台负责人，2015年2月加入滴滴，主导了滴滴大数据实时监控系统、实时计算平台的建设。拥有多年大数据分析产品架构设计及开发经验。目前感兴趣的研究领域包括：实时计算、数据可视化分析、机器学习等。

免费报名入口 滴滴技术沙龙第1期：大数据架构和实践