Flume安装及简单使用

最新推荐文章于 2024-01-03 10:15:26 发布
最新推荐文章于 2024-01-03 10:15:26 发布
阅读量553 收藏
点赞数 1
分类专栏： hadoop集群配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gakki_smile/article/details/77316638
版权
本文详细介绍了Apache Flume的安装过程，包括下载、解压、配置环境变量等步骤，并通过三个实际案例展示了Flume的Avro、SpoolDir和Exec源的使用，以及Load balancing Sink Processor的配置和HBaseSink的数据写入操作。这些案例涵盖了Flume的基本功能，适合初学者理解和实践。
摘要由CSDN通过智能技术生成

1下载解压到指定目录
22)修改 flume-env.sh 配置文件,主要是JAVA_HOME变量设置

1.root@m1:/home/hadoop/flume-1.5.0-bin# cp conf/flume-env.sh.template conf/flume-env.sh
2.root@m1:/home/hadoop/flume-1.5.0-bin# vi conf/flume-env.sh
3.# Licensed to the Apache Software Foundation (ASF) under one
4.# or more contributor license agreements. See the NOTICE file
5.# distributed with this work for additional information
6.# regarding copyright ownership. The ASF licenses this file
7.# to you under the Apache License, Version 2.0 (the
8.# “License”); you may not use this file except in compliance
9.# with the License. You may obtain a copy of the License at
10.#
11.# http://www.apache.org/licenses/LICENSE-2.0
12.#
13.# Unless required by applicable law or agreed to in writing, software
14.# distributed under the License is distributed on an “AS IS” BASIS,
15.# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16.# See the License for the specific language governing permissions and
17.# limitations under the License.
18.
19.# If this file is placed at FLUME_CONF_DIR/flume-env.sh, it will be sourced
20.# during Flume startup.
21.
22.# Enviroment variables can be set here.
23.
24.JAVA_HOME=/usr/lib/jvm/java-7-oracle
25.
26.# Give Flume more memory and pre-allocate, enable remote monitoring via JMX
27.#JAVA_OPTS=”-Xms100m -Xmx200m -Dcom.sun.management.jmxremote”
28.
29.# Note that the Flume conf directory is always included in the classpath.
30.#FLUME_CLASSPATH=””
复制代码

          3)验证是否安装成功

1.root@m1:/home/hadoop# /home/hadoop/flume-1.5.0-bin/bin/flume-ng version
2.Flume 1.5.0
3.Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
4.Revision: 8633220df808c4cd0c13d1cf0320454a94f1ea97
5.Compiled by hshreedharan on Wed May 7 14:49:18 PDT 2014
6.From source with checksum a01fe726e4380ba0c9f7a7d222db961f
7.root@m1:/home/hadoop#

复制代码
　　　　出现上面的信息，表示安装成功了

　　五、flume的案例
　　　　1)案例1：Avro
　　　　Avro可以发送一个给定的文件给Flume，Avro 源使用AVRO RPC机制。
　　　　　　a)创建agent配置文件

  1. root@m1:/home/hadoop#vi /home/hadoop/flume-1.5.0-bin/conf/avro.conf

    1. a1.sources = r1
  3. a1.sinks = k1
  4. a1.channels = c1

    1. # Describe/configure the source
  6. a1.sources.r1.type = avro
  7. a1.sources.r1.channels = c1
  8. a1.sources.r1.bind = 0.0.0.0
  9. a1.sources.r1.port = 4141

    1. # Describe the sink
  11. a1.sinks.k1.type = logger

    1. # Use a channel which buffers events in memory
  13. a1.channels.c1.type = memory
  14. a1.channels.c1.capacity = 1000
  15. a1.channels.c1.transactionCapacity = 100

    1. # Bind the source and sink to the channel
  17. a1.sources.r1.channels = c1

  18. a1.sinks.k1.channel = c1
    复制代码

    　　　　　　b)启动flume agent a1

  19. root@m1:/home/hadoop# /home/hadoop/flume-1.5.0-bin/bin/flume-ng agent -c . -f /home/hadoop/flume-1.5.0-bin/conf/avro.conf -n a1 -Dflume.root.logger=INFO,console

  20. 复制代码

    　　　　　　c)创建指定文件

  21. root@m1:/home/hadoop# echo “hello world” > /home/hadoop/flume-1.5.0-bin/log.00
    复制代码

    　　　　　　d)使用avro-client发送文件

  22. root@m1:/home/hadoop# /home/hadoop/flume-1.5.0-bin/bin/flume-ng avro-client -c . -H m1 -p 4141 -F /home/hadoop/flume-1.5.0-bin/log.00
    复制代码

    　　　　　　d)使用avro-client发送文件

  23. root@m1:/home/hadoop# /home/hadoop/flume-1.5.0-bin/bin/flume-ng avro-client -c . -H m1 -p 4141 -F /
    复制代码

    　　　　　　f)在m1的控制台，可以看到以下信息，注意最后一行：

  24. root@m1:/home/hadoop/flume-1.5.0-bin/conf# /home/hadoop/flume-1.5.0-bin/bin/flume-ng agent -c . -f /home/hadoop/flume-1.5.0-bin/conf/avro.conf -n a1 -Dflume.root.logger=INFO,console

  25. Info: Sourcing environment configuration script /home/hadoop/flume-1.5.0-bin/conf/flume-env.sh
  26. Info: Including Hadoop libraries found via (/home/hadoop/hadoop-2.2.0/bin/hadoop) for HDFS access
  27. Info: Excluding /home/hadoop/hadoop-2.2.0/share/hadoop/common/lib/slf4j-api-1.7.5.jar from classpath
  28. Info: Excluding /home/hadoop/hadoop-2.2.0/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar from classpath
  29. …
  30. 2014-08-10 10:43:25,112 (New I/O worker #1) [INFO - org.apache.avro.ipc.NettyServer$NettyServerAvroHandler.handleUpstream(NettyServer.java:171)] [id: 0x92464c4f, /192.168.1.50:59850 :> /192.168.1.50:4141] UNBOUND
  31. 2014-08-10 10:43:25,112 (New I/O worker #1) [INFO - org.apache.avro.ipc.NettyServer$NettyServerAvroHandler.handleUpstream(NettyServer.java:171)] [id: 0x92464c4f, /192.168.1.50:59850 :> /192.168.1.50:4141] CLOSED
  32. 2014-08-10 10:43:25,112 (New I/O worker #1) [INFO - org.apache.avro.ipc.NettyServer$NettyServerAvroHandler.channelClosed(NettyServer.java:209)] Connection to /192.168.1.50:59850 disconnected.
  33. 2014-08-10 10:43:26,718 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:70)] Event: { headers:{} body: 68 65 6C 6C 6F 20 77 6F 72 6C 64 hello world }

  34. 复制代码

    　　　　2)案例2：Spool
    　　　　Spool监测配置的目录下新增的文件，并将文件中的数据读取出来。需要注意两点：
    　　　　1) 拷贝到spool目录下的文件不可以再打开编辑。
    　　　　2) spool目录下不可包含相应的子目录

    　　　　　　a)创建agent配置文件

  35. root@m1:/home/hadoop# vi /home/hadoop/flume-1.5.0-bin/conf/spool.conf


    1. a1.sources = r1
  37. a1.sinks = k1
  38. a1.channels = c1

    1. # Describe/configure the source
  40. a1.sources.r1.type = spooldir
  41. a1.sources.r1.channels = c1
  42. a1.sources.r1.spoolDir = /home/hadoop/flume-1.5.0-bin/logs
  43. a1.sources.r1.fileHeader = true

    1. # Describe the sink
  45. a1.sinks.k1.type = logger

    1. # Use a channel which buffers events in memory
  47. a1.channels.c1.type = memory
  48. a1.channels.c1.capacity = 1000
  49. a1.channels.c1.transactionCapacity = 100

    1. # Bind the source and sink to the channel
  51. a1.sources.r1.channels = c1
  52. a1.sinks.k1.channel = c1

  53. 复制代码

    　　　　　　b)启动flume agent a1

  54. root@m1:/home/hadoop# /home/hadoop/flume-1.5.0-bin/bin/flume-ng agent -c . -f /home/hadoop/flume-1.5.0-bin/conf/spool.conf -n a1 -Dflume.root.logger=INFO,console

  55. 复制代码

    　　　　　　c)追加文件到/home/hadoop/flume-1.5.0-bin/logs目录

  56. root@m1:/home/hadoop# echo “spool test1” > /home/hadoop/flume-1.5.0-bin/logs/spool_text.log

  57. 复制代码

    　　　　　d)在m1的控制台，可以看到以下相关信息：

  58. 14/08/10 11:37:13 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.

  59. 14/08/10 11:37:13 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.
  60. 14/08/10 11:37:14 INFO avro.ReliableSpoolingFileEventReader: Preparing to move file /home/hadoop/flume-1.5.0-bin/logs/spool_text.log to /home/hadoop/flume-1.5.0-bin/logs/spool_text.log.COMPLETED
  61. 14/08/10 11:37:14 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.
  62. 14/08/10 11:37:14 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.
  63. 14/08/10 11:37:14 INFO sink.LoggerSink: Event: { headers:{file=/home/hadoop/flume-1.5.0-bin/logs/spool_text.log} body: 73 70 6F 6F 6C 20 74 65 73 74 31 spool test1 }
  64. 14/08/10 11:37:15 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.
  65. 14/08/10 11:37:15 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.
  66. 14/08/10 11:37:16 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.
  67. 14/08/10 11:37:16 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.

  68. 14/08/10 11:37:17 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.
    复制代码

    　　　　3)案例3：Exec
    　　　　EXEC执行一个给定的命令获得输出的源,如果要使用tail命令，必选使得file足够大才能看到输出内容

    　　　　　　a)创建agent配置文件

  69. root@m1:/home/hadoop# vi /home/hadoop/flume-1.5.0-bin/conf/exec_tail.conf


    1. a1.sources = r1
  71. a1.sinks = k1
  72. a1.channels = c1

    1. # Describe/configure the source
  74. a1.sources.r1.type = exec
  75. a1.sources.r1.channels = c1
  76. a1.sources.r1.command = tail -F /home/hadoop/flume-1.5.0-bin/log_exec_tail

    1. # Describe the sink
  78. a1.sinks.k1.type = logger

    1. # Use a channel which buffers events in memory
  80. a1.channels.c1.type = memory
  81. a1.channels.c1.capacity = 1000
  82. a1.channels.c1.transactionCapacity = 100

    1. # Bind the source and sink to the channel
  84. a1.sources.r1.channels = c1

  85. a1.sinks.k1.channel = c1
    复制代码

    　　　　　　b)启动flume agent a1

  86. root@m1:/home/hadoop# /home/hadoop/flume-1.5.0-bin/bin/flume-ng agent -c . -f /home/hadoop/flume-1.5.0-bin/conf/exec_tail.conf -n a1 -Dflume.root.logger=INFO,console

  87. 复制代码

    　　　　　　c)生成足够多的内容在文件里

  88. root@m1:/home/hadoop# for i in {1..100};do echo “exec tail$i” >> /home/hadoop/flume-1.5.0-bin/log_
    复制代码

    　　　　　　e)在m1的控制台，可以看到以下信息：

  89. 2014-08-10 10:59:25,513 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:70)] Event: { headers:{} body: 65 78 65 63 20 74 61 69 6C 20 74 65 73 74 exec tail test }

  90. 2014-08-10 10:59:34,535 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:70)] Event: { headers:{} body: 65 78 65 63 20 74 61 69 6C 20 74 65 73 74 exec tail test }
  91. 2014-08-10 11:01:40,557 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:70)] Event: { headers:{} body: 65 78 65 63 20 74 61 69 6C 31 exec tail1 }
  92. 2014-08-10 11:01:41,180 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:70)] Event: { headers:{} body: 65 78 65 63 20 74 61 69 6C 32 exec tail2 }
  93. 2014-08-10 11:01:41,180 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:70)] Event: { headers:{} body: 65 78 65
最低0.47元/天 解锁文章
gakki_smile
关注
专栏目录
Flume案例
ZK_小小世界的专栏
08-17 1550
一、Flume的案例 1.案例1：Avro Avro可以发送一个给定的文件给Flume，Avro 源使用AVRO RPC机制。 1）创建agent的配置文件avro.confa1.sources = r1 a1.sinks = k1 a1.channels = c1# Describe/configure the source a1.sources.r1.type = avro a1.sour
java flume_Flume环境部署和配置详解及案例大全
weixin_39793638的博客
02-16 388
一、什么是Flume?flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation)，属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0....
解决flume SyslogTCP 日志长度超限问题
weixin_49227503的博客
12-22 2196
日志采集之前一直使用的是syslogUDP的方式，因为采集的是网络流量日志，所以对于日志数量丢失没有太在意，一次偶然的对数发现syslogUDP方式丢包太过严重，经排查发现使用rsyslog方式发送UDP报文时除去头部，body长度超过1472字节时会被截断，于是flume采集时拦截器进行json校验不通过。 **解决方案：**牺牲性能，换syslogTCP 更换syslogTCP后进行测试时，发送较长报文，tcpdump抓包有数据，kafka中无数据，推测flume采集出错，查看flume日志发现如下信息
Unable to start SinkRunner: { policy:org.apache.flume
请叫我大师兄
08-02 1001
flume启动报错：Unable to start SinkRunner: { policy:org.apache.flume
flume案例集锦
小麒麟的成长之路
09-19 808
案例一：Avro Avro可以发送一个给定的文件给Flume，Avro 源使用AVRO RPC机制。 a)创建agent配置文件 root@m1:/home/hadoop#vi /home/hadoop/flume-1.5.0-bin/conf/avro.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Des
Flume安装和简单使用
01-07
Flume安装和简单使用Flume简介Flume安装Flume框架示例 Flume简介 来自官网 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streaming data flows. It is robust and fault tolerant with tunabl
flume 安装及简单使用
最新发布
花菜回锅肉的博客
01-03 533
flume 安装及简单示例
flume安装程序
12-10
在本安装指南中，我们将深入探讨如何使用提供的`flume-1.6.0-bin.tar`安装包来安装和配置Apache Flume。 1. **下载与准备**： 首先，你需要从Apache官方网站下载Flume的最新稳定版本。在本例中，我们已有一个名为`...
Flume的安装及简单使用
a805814077的博客
10-26 1132
大数据辅助工具flume的安装及其简单使用
flume-1.7.0 简单使用
M_SIGNALs的博客
11-18 3934
在上一篇中，我们安装了 flume-ng，这一篇我们就来简单使用一下。官网上是这么介绍的，我们需要指定一个配置文件，需要定义一个 agent 的名称，然后我们就可以使用 flume-ng 命令来启动了。
flume实用案例（比较全）
小强签名设计 的博客
05-04 2846
案例1：Avro Avro可以发送一个给定的文件给Flume，Avro 源使用AVRO RPC机制。 a)创建agent配置文件 [hadoop@h71 conf]$ vi avro.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r
flume 案例
mllhxn的专栏
05-26 767
1)案例1：Avro 　　Avro可以发送一个给定的文件给Flume，Avro 源使用AVRO RPC机制。 　　a)创建agent配置文件root@m1:/home/hadoop#vi /home/hadoop/flume-1.5.0-bin/conf/avro.confa1.sources = r1 a1.sinks = k1 a1.channels = c1# Describe/confi
Flume 日志收集、使用Flume收集日志到HDFS
陈杰
12-02 6443
第一章 概览与架构 1.1 源、通道与接收器 Flume代理的架构如下图：输入叫做源，输出叫作接收器。通过提供类源与接收器之间的胶水。它们都运行在叫做代理的守护进程中。 源将事件写到一个或者多个通道中。 通道作为事件从源到接收器传递的保留区。 接收器只能从一个通道接收事件。 代理可能会有多个源、通道与接收器。 1.2 Flume事件 Flume传输的基本的数
Flume环境部署和配置详解及案例大全
yjl33的专栏
07-21 4382
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 一、什么是Flume? 　　flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为
flume 安装和使用
05-30
安装 Flume 首先需要确保你的系统上已经安装了 Java 1.7 或更高版本，并且正确配置了 Java 环境变量。你可以通过 `java -version` 命令检查 Java 版本。然后，你可以从 Flume 的官方网站...
Flume把收集到的数据存储在 home/flumedata目录
qq_45453185的博客
12-05 1122
** Flume把收集到的数据存储在 home/flumedata目录 进入配置：vim filechannel.conf ** # 给Agent起名 # 给Source起名 a1.sources = s1 # 给Channel起名 a1.channels = c1 # 给Sink起名 a1.sinks = k1 # 配置Source的类型 a1.sources.s1.type = netcat # 配置IP a1.sources.s1.bind = 0.0.0.0 # 配置监听端口 a1.sources
Flume或Kafka和Elasticsearch整合
小强签名设计 的博客
10-11 3985
前言：我这里是在Centos7.2 64位单机做的测试 安装elasticsearch的时候不应该安装在root用户下，否则启动会报错： Exception in thread "main" java.lang.RuntimeException: don't run elasticsearch as root. at org.elasticsearch.bootstrap.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值