Flume03：【案例】如何使用Flume-Hello Flume

最新推荐文章于 2023-10-14 21:26:21 发布
最新推荐文章于 2023-10-14 21:26:21 发布
阅读量355 收藏 2
点赞数
分类专栏： flume 文章标签： hadoop flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40612128/article/details/123236761
版权
flume 专栏收录该内容
17 篇文章 0 订阅 ¥19.90 ¥99.00
订阅专栏

一、Flume的Hello World！

下面我们就想上手操作Flume，具体该怎么做呢？
先来看一个入门级别的Hello World案例。
我们前面说了，启动Flume任务其实就是启动一个Agent，Agent是由source、channel、sink组成的，这些组件在使用的时候只需要写几行配置就可以了
那下面我们就看一下source、channel、sink该如何配置呢？
接下来带着大家看一下官网
找到左边的documentation，查看文档信息

在这里插入图片描述
在这里插入图片描述
其实Flume的操作文档是非常良心的，整理的非常详细，给flume的维护者们点个赞。

进入Flume User Guide

了解本专栏 订阅专栏 解锁全文
做一个有趣的人Zz
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
flume-ng-sql-source-1.5.2.jar
11-15
flume-ng-sql-source-1.5.2.jar从数据库中增量读取数据到hdfs中的jar包
flume-ng-sql-source-1.5.3.jar
11-26
flume-ng-sql-source-1.5.3.jar，flume采集mysql数据jar包，将此文件拖入FLUME_HOME/lib目录下，如果是CM下CDH版本的flume，则放到/opt/cloudera/parcels/CDH-xxxx/lib/flume-ng/lib下，同样需要的包还有mysql-connector-java-5.1.XX-bin.jar，也需要一并放入。
flume-ng-sql-source-1.5.2
10-12
flume-ng-sql-source-1.5.2源码
flume-ng-sql-source-release-1.5.2.zip
06-26
flume-ng-sql-source-release-1.5.2.jar 用flume-ng-sql-source 从数据库抽取数据到kafka，支持sql
flume-interceptor-1.0.0-jar-with-dependencies.jar
01-03
flume拦截器 保留binlog es、data、database、table、type字段 分区字段名称: eventDate 放入 /opt/cloudera/parcels/CDH/lib/flume-ng/lib目录重启flume即可
Flume快速入门09
自律
11-07 205
1.flume介绍 是一个实时收集、聚合，传输海量数据的一个工具。 2.Flume组成架构 Agent Agent是flume的运行实例，flume的启动进程为Application。 Agent主要有3个部分组成，Source、Channel、Sink。 Source Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec（execute）、jms、spooling directory、netcat(读取端
【Flume 01】Flume简介、部署、组件
weixin_42322991的博客
07-21 2920
Flume是一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。
FLUME 安装配置及使用示例
09-02 1113
FLUME 安装配置，并给出 Source、Channel、Sink 的一些示例，详细介绍 Kafka Source、Kafka Channel、Kafka Sink 的使用
Kafka/flume集群启动脚本无效
qq_42672132的博客
04-22 571
使用脚本启动kafka无效 脚本如下 for i in hadoop102 hadoop103 hadoop104 do echo "========== $i ==========" ssh $i '/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties' echo $? done 使用后在hadoop104 jps一把，发现没有Kafka进程，去监控Kafka日志，
Flume报错
Diana的博客
04-01 1082
[ERROR - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:253)] Unable to start EventDrivenSourceRunner: { source:Avro source r1: { bindAddress: 0.0.0.0, por...
Flume概述和简单实例
chuaikai7935的博客
01-21 188
Flume概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 Flume主要由3个重要的组件购成： ...
Flume的学习及使用
xhzxhz12的博客
05-19 781
第一章：Flume的简介 1.1 大数据处理流程 在企业中，大数据的处理流程一般是： 1.数据采集 2.数据存储 3.数据清洗 4.数据分析 5.数据展示 参考下图： 1.2 Flume的简介 Flume是一种分布式的，可靠的、高可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。 参考官网： http://flume.apache
flume执行流程及源码解读
weixin_40809627的博客
12-30 848
1、flume 指定配置文件启动 bin/flume-ng agent -c conf -f conf/LogDetailExpose4KafkaFlume.conf -n aApacheFlume --classpath /home/dmpflume-jar-with-dependencies.jar -Dflume.root.logger=INFO,console #注意：因为需要指定自己实现...
Flume学习笔记
lonelymanontheway的博客
06-27 436
概述；概念；架构； Source：Spooling Directory Source，Taildir Source， Kafka Source， Channel： Sink： Decorators： Interceptor： 安装；监控；性能优化。
关于Flume报错问题集
最新发布
liuli031874的博客
10-14 554
而hdfs 是基于hive ，hive里面的jar包用的版本与flume lib下的jar包版本相差太大，导致无法正常运行。经过测试，是guava-27.0-jre.jar包版本太高，所以我们先删除flume lib下低版本的guava-xxx-jre.jar，将hive lib高版本的guava-27.0-jre.jar它拷贝到flume的lib下即可。重启flume即可。
Flume版本过低造成:org.apache.kafka.common.KafkaException: Failed to construct kafka producer
m0_53867640的博客
11-07 1938
【代码】Flume版本过低造成:org.apache.kafka.common.KafkaException: Failed to construct kafka producer。
【Flume】【源码分析】从入口Application来分析Flume的启动过程
三也_攻城狮
01-21 7019
大家在启动flume的时候，输入的命令就可以看出flume的启动入口了 [root@com21 apache-flume-1.5.2-bin]# sh bin/flume-ng agent -c conf -f conf/server.conf -n a1 Info: Sourcing environment configuration script /home/flume/apache-flu
Flume源码阅读记录（3）flume启动组件Application代码分析
SW_LCC的博客
06-30 293
public class Application { private static final Logger logger = LoggerFactory .getLogger(Application.class); public static final String CONF_MONITOR_CLASS = "flume.monitoring.type"; pub...
fulme安装配置及使用Flume监听Telnet发送的信息
剑开天门六千里
05-12 604
配置环境 centos6.7 1.下载地址：http://archive.apache.org/dist/flume/1.7.0/下载上传 2.解压缩到指定目录 tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local。 不习惯解压后的文件名字是****-bin的可以mvapache-flume-1.7.0-bin apa...
/usr/local/flume/bin/flume-ng avro-client --conf conf -H localhost -p 4141 -F /usr/local/flume/helloworld.txt详细解释
06-12
这是一个使用 Apache Flume 的命令行工具，用于将指定文件 /usr/local/flume/helloworld.txt 中的数据发送到本地主机的 4141 端口。具体来说，该命令使用了 Flume 的 Avro Source，该 Source 会监听 4141 端口，并等待来自 Avro Client 的数据传输请求。 该命令中的参数解释如下： - /usr/local/flume/bin/flume-ng：Flume 的命令行工具路径。 - avro-client：指定使用 Avro 协议进行数据传输。 - --conf conf：指定 Flume 的配置文件目录为当前目录下的 conf 目录。 - -H localhost：指定目标主机为本地主机。 - -p 4141：指定目标端口为 4141。 - -F /usr/local/flume/helloworld.txt：指定需要传输的数据文件路径为 /usr/local/flume/helloworld.txt。 需要注意的是，该命令需要在 Flume 的安装目录下执行，并且需要先启动 Flume 的 Agent。另外，该命令只能传输指定文件中的数据，无法实时监控文件的变化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

做一个有趣的人Zz

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值