Flink 入门

写在前面的话

　　我会先假定你，在读这篇文章的时候，没有任何大数据处理基础，但懂一些编程概念以及 Java 语言基础。遇到一些数据处理问题，用现有方法可以解决，但总认为有一些通用的方案来做更合适，且听过 Spark, Storm, Flink 适合解决这个问题，又恰巧听说 Flink 比较先进，所以看到了这里。那么这篇文章是适合你的。

先讲数据处理

　　假如，我们有一批数据，假设是一个源源不断的数据流，每一条数据描述了一个日志，日志里有产生该日志的时间，以及访问某个站点的 ip 。再假设数据通道已建立，我们可以按条取得日志，且再写回去。
　　现在需求来了，直接显示 ip 不直观，我想知道，每条数据是电信网的 IP 还是移动网的 IP。这当然是个小事情，我们可以取出每一条日志，按规则判断出该 IP 属于什么类型网络，然后换 IP 这个字段转成网络类型再发出去。
　　但是产品的需求是随意时代变化的，突然一个产品经理说，我只想知道电信用户的数据，这些用户是我们的主要用户。处理也会简单，我们再写一个程序，把上一步写回的数据再取出来，判断一下类型，满足类型的再回写进去，不满足的丢掉。
　　这世界上的产品经理唯一不变的就是多变，他们又突然关心起，在 10 分钟之类的电信用户总数是多少。这是个迫切的问题，得解决，因此我们只好再写一个程序上线部署，它完成的主要工作简章描述是，把 10 分钟内的数据缓存起来，统计计数即可。仿佛功能更强大了。
　　但没人会在功能更强大的路上止步不前，新需求又来了，其它类型的用户也重要了起来，业务想知道，所有不同类型的用户，在 10 分钟以内的总数。世界突然变得复杂了，研发再也不法再开发更多的程序去支撑一个已补丁了多遍的系统。
　　

计算平台

　　其实上面的业务场景并不是某家公司的特例场景，它所要面对的问题是一个通用性问题，我们把它简化了一个统一模型，就是对一批流数据的处理，当然也会有对一批量数据的批处理。我们可以建一个通用的平台，把上面研发写的一个个程序当然模块算法串联起来，插入到平台上，而平台本身处理这些通用的计算，串起整条流，在合适的节点时机回调我们的算法，转换（map），过滤 (filter)，聚合(aggregation) 等，并且合适地处理好时间时机（time window），让我们可以心无旁骛地写好自己的处理逻辑，插进计算平台，整个计算平台就成为了我们数据处理程序。整个过程仿佛是个组装的过程，我们