Uber实时数据处理架构

Kafka 2016 Summit上Uber工程师Danny Yuan分享了一个Streaming Processing PPT，如何解决Uber里Operation Team所需要的需求。看了整个视频觉得介绍很细致，这对于大部分LBS （Location Based Service）有很好的借鉴意义。

业务需求

Realtime OLAP

对于Operation部门而言，实时性很重要：

• 当前时间点，全球有多少量车在运行？有多少量车在空驶？
• 最近10分钟内，有多少UberX（类似于滴滴中的商务专车）在SF出现，热点地区在哪里？
• 每个区域的平均行驶时间、以及其他指标分别是多少？

作者给出了一个示意图，我们可以解读下：
1. 右侧是一个湾区的地图，通过蜂窝状六边形把坐标划分若干区域，红色就代表车的密集程度
2. 左侧是该区域在过去N分钟内各项指标的变化情况，例如平均的形式距离，接单率，平均客单价等
3. 通过筛选时间段、指标（Metric)等，可以全方面了解运营状况

这个图表让我相当了之前用TreeMap来监控集群利用率的场景，如出一辙。

• 左侧通过HeatMap显示各个机架上的不同时间段上Metric变化情况
• 右侧则是各指标在时间段上分布的场景

只不过在机器运维的Portal上显示的是，只不过我们面对的是集群，Uber面对的是车与地图：）