Apache Flume 使用详解

目录：

　　     为什么需要 Flume ？

　　     基本架构

　　     数据划分

　　     类型映射

　　     Sqoop Import

　　     Sqoop Export

为什么需要 Flume ？

　   在生产环境中，大数据平台要处理来自各种数据源的海量数据，如何将数据源的数据输送到 Hadoop 平台呢？一种解决办法是直接通过 HDFS 客户端将数据写入到 HDFS ，这种方式简单干脆，但实现起来问题非常多，首先，如果数据源很多，那么 HDFS 必然面临高并发的写入请求，在 HDFS 中，所有的请求都会发送给 NameNode ，此时 NameNode 承受的压力非常大，很可能导致 NameNode 崩溃，进而导致整个 Hadoop 集群的崩溃。此外，还有带宽的压力等等。

为什么需要 Flume ？

　   线上

为什么需要 Flume ？

　   线上

为什么需要 Flume ？

　   线上

为什么需要 Flume ？

　   线上

为什么需要 Flume ？

　   线上

转载于:https://www.cnblogs.com/beautycode/p/9947966.html