通过Redash可视化方式监控大数据系统运行

背景

Redash是款优秀的大数据可视化开源工具。在我eBay工作的第二年里面，这个Redash是重心的重心。
Redash的代码分为两部分：前端和后端。
后端的本领之一是“七十二变”，能够将各种数据源整合进来；前端的本领是各种精美的控件，搭配后端数据源，能将枯燥的大数据分析后以图形方式展示。

都说数据是21世纪的财富，我觉得光数据本身不能算财富，数据被智慧体分析后产生的洞察insight才是财富。
就拿这套系统来说，运营通过可视化，获得更好的洞察，并以洞察来调整资源的运用（在MarkingTech里面主要是Campaign的投向），从而大大提升了效果，产生了X亿美元的利润。

这是个大系统，有较多同事一起参与。我在其中负责缓存系统部分。虽然大数据系统目前还是以批为主，但是为了达到“秒开”的效果，我们采用预加载方式装入分析后数据，所以缓存在这个系统中的角色比较吃重的，算核心域而不是支撑域。每天的运行情况要监控，我突然想到，比起传统的脚本或者ES方式，枯燥地打几行日志，为何不用Redash技术栈本身，构造一个可视化的监控系统？

说干就干！

需求分析步骤

1. 数据来源是日志：下载到云上，用脚本或者工具方式分析；结合源头直接