xinkongquanchang的博客

原创 湖科史上最も獰猛の作业！！！

reducer的输出就是程序的最终执行结果。Flume：分布式、可靠、高可用的服务，它能够将不同数据源的海量日志数据进行高效收集、汇聚、移动，最后存储到一个中心化数据存储系统中，它是一个轻量级的工具，简单、灵活、容易部署，适应各种方式日志收集并支持failover和负载均衡。随着数据量的增加，数据移动成本越来越高，网络带宽、磁盘空间、磁盘 IO 都会成为瓶颈，在分散数据的情况下，会造成任务执行的成本提高，获得结果的周期变长，而数据共享模式可以让多种框架共享数据和硬件资源，大幅度减少数据分散带来的成本。