Flume
关注
分享
扫一扫
黑猴子的家
拥有技术，便拥有自由
B站 Up主专注于技术 https://space.bilibili.com/398602910
展开
-
黑猴子的家：Flume 案例 flume -> spark streaming
flume 和 spark streaming 案例不作过多详解，具体细节将在spark streaming 章节细讲，在此只附上CodeCode -> GitHubhttps://github.com/liufengji/spark_flume.git1、flume-push-sparkstreaming.conf# Name the components on this age...原创 2018-09-30 15:19:00 · 126 阅读 · 0 评论 -
黑猴子的家：Flume案例 双层flume,一对二使用
使用Flume-1监控文件变动，Flume-1将变动内容传递给Flume-2，Flume-2负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3，Flume-3负责输出到 local filesystem。1、flume1创建Flume-1.conf，用于监控hive.log文件的变动，同时产生两个channel和两个sink分别输送给Flume-2和Flume3# ...原创 2018-09-12 15:35:00 · 349 阅读 · 0 评论 -
黑猴子的家：Flume案例 监控文件夹
使用Flume监听整个目录的文件1、创建配置文件flume-dir.confa3.sources = r3a3.sinks = k3a3.channels = c3# Describe/configure the sourcea3.sources.r3.type = spooldira3.sources.r3.spoolDir = /opt/module/flume/uplo...原创 2018-09-12 15:30:00 · 204 阅读 · 0 评论 -
黑猴子的家：Flume案例 监控文件
实时监控hive日志，并上传到HDFS中1、拷贝Hadoop相关jar到flume的lib目录下（要学会根据自己的版本,查找jar包）[victor@hadoop102 flume]$ find /opt/module/hadoop-2.8.2/ -name hadoop-auth*.jar[victor@hadoop102 flume]$ cp hadoop-auth-2.8.2....原创 2018-09-12 15:26:00 · 134 阅读 · 0 评论 -
黑猴子的家：Flume 案例 控制台 demo
Flume监控一端Console，另一端Console发送消息，使被监控端实时显示。1、创建flume Agent配置文件flume-telnet.conf# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1 # Describe/configure the sour...原创 2018-09-12 15:21:00 · 125 阅读 · 0 评论 -
黑猴子的家：Flume 环境部署
1、flume安装[victor@hadoop102 software]$ tar -xzvf apache-flume-1.8.0-bin.tar.gz -C /opt/module/ [victor@hadoop102 ~]$ cd /opt/module/[victor@hadoop102 module]$ ln -s apache-flume-1.8.0-bin/ flume[...原创 2018-09-12 15:17:00 · 105 阅读 · 0 评论 -
黑猴子的家：Flume传输过程
source监控某个文件或数据流，数据源产生新的数据，拿到该数据后，将数据封装在一个Event中，并put到channel后commit提交，channel队列先进先出，sink去channel队列中拉取数据，然后写入到HDFS中。...原创 2018-09-12 15:14:00 · 122 阅读 · 0 评论 -
黑猴子的家：Flume 角色
1、Source用于采集数据，Source是产生数据流的地方，同时Source会将产生的数据流,传输到Channel，这个有点类似于Java IO部分的Channel。2、Channel用于桥接Sources和Sinks，类似于一个队列。3、Sink从Channel收集数据，将数据写到目标源(可以是下一个Source，也可以是HDFS或者HBase)。4、Event...原创 2018-09-12 15:13:00 · 203 阅读 · 0 评论 -
黑猴子的家：Flume核心组件
Flume主要由3个重要的组件构成1）Source： 完成对日志数据的收集，分成transtion 和 event 打入到channel之中， Flume提供了各种source的实现，包括Avro Source、 Exce Source、 SpoolingDirectory Source、 NetCat Source、 Syslog Source、 Syslog TCP Source、Sys...原创 2018-09-12 15:11:00 · 160 阅读 · 0 评论 -
黑猴子的家：Flume使用场景
Flume在英文中的意思是水道， 但Flume更像可以随意组装的消防水管，下面根据官方文档，展示几种Flow。1、多个agent顺序连接可以将多个Agent顺序连接起来，将最初的数据源经过收集，存储到最终的存储系统中。这是最简单的情况，一般情况下，应该控制这种顺序连接，Agent 的数量，因为数据流经的路径变长了，如果不考虑failover（故障转移）的话，出现故障将影响整个Flow上...原创 2018-09-12 15:09:00 · 217 阅读 · 0 评论 -
黑猴子的家：Flume拦截器、数据流以及可靠性
1、Flume拦截器当我们需要对数据进行过滤时，除了我们在Source、 Channel和Sink进行代码修改之外， Flume为我们提供了拦截器，拦截器也是chain形式的。拦截器的位置在Source和Channel之间，当我们为Source指定拦截器后，我们在拦截器中会得到event，根据需求我们可以对event进行保留还是抛弃，抛弃的数据不会进入Channel中。2、F...原创 2018-09-12 15:03:00 · 251 阅读 · 0 评论 -
黑猴子的家：Flume的一些核心概念
Client：Client生产数据，运行在一个独立的线程。Event： 一个数据单元，消息头和消息体组成。（Events可以是日志记录、 avro 对象等。）Flow： Event从源点到达目的点的迁移的抽象。Agent：一个独立的Flume进程，包含组件Source、 Channel、 Sink。（Agent使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个age...原创 2018-09-12 14:59:00 · 376 阅读 · 0 评论 -
黑猴子的家：Flume特点
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Sour...原创 2018-09-12 14:49:00 · 442 阅读 · 0 评论 -
黑猴子的家：Flume简介
Flume 作为 Cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 Cloudera。但随着 Flume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.9.4. 中，日志...原创 2018-09-12 14:45:00 · 163 阅读 · 0 评论 -
黑猴子的家：Flume 案例 flume -> kafka
flume监控日志，传输给kafka1、flume-kafka.conf# definea1.sources = r1a1.sinks = k1a1.channels = c1# sourcea1.sources.r1.type = execa1.sources.r1.command = tail -F -c +0 /home/admin/call/calllog.csv...原创 2018-09-13 10:38:00 · 99 阅读 · 0 评论 -
黑猴子的家：Flume 1.6 移植 1.7 Taildir Source 功能
1、官网地址http://flume.apache.org/2、下载Flume1.6 和 Flume1.73、下载历史版本4、历史版本5、Flume 1.76、Flume 1.67、解压Flume1.7 找到下面6个类PollableSourceConstants.javaReliableTaildirEventReader.jav...原创 2018-11-20 16:11:00 · 907 阅读 · 0 评论 -
黑猴子的家：Flume 案例 双层 flume,二对一 使用
Flume-1监控文件hive.log，Flume-2监控某一个端口的数据流，Flume-1与Flume-2将数据发送给Flume-3，Flume3将最终数据写入到HDFS。1、flume1创建Flume-1.conf，用于监控hive.log文件，同时sink数据到Flume-3# Name the components on this agenta1.sources = r1...原创 2018-09-12 15:39:00 · 842 阅读 · 0 评论