Garvin的专栏

1.背景分布式计算的发迹应该是google在2003年发表的三篇paper，分别是GFS、MapReduce、BigTable。其中MapReduce大家都很熟悉了，不懂的同学也可以看看我之前写的文章【分布式计算】MapReduce的替代者-Parameter Server为什么google会搞分布式计算这件事儿呢，因为在那个年代每天会产生几个T的日志，但是当时的磁盘只允许存储几百G的文件，07年

背景Flume是Apache赞助的一个分布式日志管理系统，主要功能就是把集群中每个worker产生的日志log，collect到特定的地点。为什么要写这篇文章呢，因为现在搜索出来的文献大多是老版本的flume，在flume1.X版本后，也就是flume-ng版本跟之前出现了很大的改动，市面上的很多文档都已经过时了，大家看的时候一定要注意这点，稍后我会提供几个比较新的，有参考价值的文章。

首先还是要声明一下，这个文章是我在入职阿里云1个月以来，对于分布式计算的一点肤浅的认识，可能有些地方不够妥善，还请看官可以指出不足的地方，共同进步。一.背景随着互联网的发展，数据量的增大，很多对于数据的处理工作（例如一些推荐系统、广告推送等）都迁移到了云端，也就是分布式计算系统上。衍生了很多牛逼的分布式计算的计算模型，比较著名的就是MapReduce、MPI、BSP等。后来也产生了一些分布式计算系统