flume简介（大数据技术）

最新推荐文章于 2023-12-02 23:24:45 发布

前端小歌谣

最新推荐文章于 2023-12-02 23:24:45 发布

阅读量462

点赞数

文章标签：运维

本文链接：https://blog.csdn.net/weixin_43392489/article/details/99179242

版权

Apache Flume 是一个用于收集、聚合和移动大量日志数据的可靠系统，常与Kafka结合使用。它支持高可用、分布式配置，并能高效地将数据传输到HDFS或HBase。Flume由Source、Channel和Sink组成，Source从数据源接收事件，Channel作为临时存储，Sink负责将数据存储到目标位置。Flume还可以与其他数据源集成，如社交媒体，且支持多路径流量管理和负载均衡。

摘要由CSDN通过智能技术生成

1 .背景

  flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apache top项目之一.

2 .概述

什么是flume?

apache Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。flume具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中。其结构如下图所示：

  ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190811121803224.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM5MjQ4OQ==,size_16,color_FFFFFF,t_70)

2.应用场景

  比如我们在做一个电子商务网站，然后我们想从消费用户中访问点特定的节点区域来分析消费者的行为或者购买意图. 这样我们就可以更加快速的将他想要的推送到界面上，实现这一点，我们需要将获取到的她访问的页面以及点击的产品数据等日志数据信息收集并移交给Hadoop平台上去分析.而Flume正是帮我们做到这一点。现在流行的内容推送，