美团点评数据平台融合实践

本文PPT来源于2017年ArchSummit全球架构师峰会。

美团点评两家公司合并以来，经历了组织架构融合、线上业务融合、数据与基础设施融合的三个大阶段。本次分享介绍第三阶段，美团点评整个数据平台融合项目推进经验，及相关技术突破，期望对有大的数据平台技术产品重构或底层技术架构调整需求的架构师进行参考。

平台项目分为三个阶段：

1、数据流打通；

2、离线集群透明迁移融合；

3、工具链产品融合与业务任务切分。

融合之前，我们有异地双机房共4k节点，涉及万级别任务迁移与自动改写，整个融合过程持续提供数据生产与应用服务，要求对业务透明。本次分享除了对于项目整体计划与实施的讨论，也会会涵盖 Hadoop 集群认证打通、Hadoop 多机房架构改造、大面积 SQL 任务重构的自动化方法等核心技术点的详细架构介绍。其中，Hadoop 集群认证打通我们使用 Kerberos 跨域认证方案，Hadoop 多机房方案我们通过新增 Zone Tunnel 模块，操作 HDFS 文件块的分布，做到了集群的平滑迁移。在 SQL 任务自动重构的场景下, 我们自研了一个 Hive 表映射的方案，使得任务的修改可以并行化，无需双写，也无需分层迁移，大大的提高了重构效率。

下面是详细的PPT：

猜你喜欢

欢迎关注本公众号：iteblog_hadoop:

0、回复 电子书 获取 本站所有可下载的电子书

1、Apache Spark常见的三大误解

2、Hadoop 3.0磁盘均衡器(diskbalancer)新功能及使用介绍

3、Apache Spark 2.2.0新特性详细介绍

4、干货 | Spark SQL：过去，现在以及未来

5、ElasticSearch内置也将支持SQL特性

6、全球100款大数据工具汇总，总有你需要的

7、Spark Summit 2017全部PPT下载[共143个]

8、NodeManager节点自身健康状态检测机制

9、NodeManager 生命周期介绍

10、Apache Flink 1.3.0正式发布及其新功能介绍

11、更多大数据文章欢迎访问https://www.iteblog.com及本公众号(iteblog_hadoop) 12、Flink中文文档：http://flink.iteblog.com