Flink 在饿了么的应用与实战

本 ppt 来自于2018年7月29日 Flink China社区线下 Meetup·上海站（8月11日将在北京进行）。

本文分享来自于易伟平 他目前在饿了么主要负责大数据平台的架构和维护，对大数据实时计算引擎Storm、Spark、Flink有一定的了解，对离线SQL on Hadoop引擎有一定的研究。

本文主要内容如下：

• 介绍了饿了么的平台架构实现，数据源有应用的日志、DRC、Flume/Hangout等，以Kafka作为消息中间件，计算平台Storm、Spark和Flink都有用，Storm占据2/3，Spark占据1/3，Flink目前用的比较少，存储backend涉及到redis、mysql、kafka等  

• 目前的数据现状是每天60TB的量，集群规模为400个节点 

• 介绍了三个计算平台各自的优缺点，以及内部应用场景；单独介绍了一致性语义问题，认为目前exactly-once=at-least-once+幂等操作(emmm，我发现分享了很多基础知识)

• 因为饿了么现在是阿里系了嘛，所以，未来Flink的参与度要提高 

本文 PPT 下载地址：

https://www.iteblog.com/ppt/elm.pdf

CDN:  

http://cdn.iteblog.com/ppt/elm.pdf

猜你喜欢

欢迎关注本公众号：iteblog_hadoop:

回复 spark_summit_201806 下载 Spark Summit North America 201806 全部PPT

0、回复 电子书 获取 本站所有可下载的电子书

1、Apache Spark 统一内存管理模型详解

2、Elasticsearch 6.3 发布，你们要的 SQL 功能来了

3、Spark Summit North America 201806 全部PPT下载[共147个]

4、干货 | 深入理解 Spark Structured Streaming

5、Apache Spark 黑名单(Blacklist)机制介绍

6、Kafka分区分配策略(Partition Assignment Strategy)

7、Spark SQL 你需要知道的十件事

8、干货 | Apache Spark 2.0 作业优化技巧

9、[干货]大规模数据处理的演变(2003-2017)

10、干货 | 如何使用功能强大的 Apache Flink SQL

11、更多大数据文章欢迎访问https://www.iteblog.com及本公众号(iteblog_hadoop) 12、Flink中文文档： http://flink.iteblog.com 13、Carbondata 中文文档： http://carbondata.iteblog.com