flume
文章平均质量分 82
flume的入门及精进
独孤雨鸿
这个作者很懒,什么都没留下…
展开
-
Kafka集成flume
kafka作为flume的source,扮演生产者角色。kafka作为flume的sink,扮演消费者角色。可见Kafka集成flume生产者成功。可见Kafka集成flume消费者成功。往被监控文件输入数据。查看Kafka消费者。查看flume监控台。原创 2024-06-10 12:59:56 · 737 阅读 · 1 评论 -
使用netcat时报错Ncat Connection refused.
当你在使用前没建立node1 44444这个端口,换而言之,你就是没启用44444这个端口,那么当你想与44444这个端口来建立通讯时自然就会出现Ncat: Connection refused.因为你没启用,所以无法找到通讯端口,所以会被拒绝连接。但是对于不熟悉netcat的新手来说,其实最应该要检查的是你在使用nc node1 44444 这个命令前是否建立了node1 44444这个端口。要解决这个问题,我们在使用nc node1 44444 命令前,必须先在node1建立一个44444的通讯端口。原创 2024-05-20 15:24:46 · 473 阅读 · 0 评论 -
flume channel和interceptor简介及官方用例
a1.sourcesr1a1.sinksk1c1# 先调用i1再调用i2i1 i2#这里自编的拦截器名为HostInterceptorfalsehostnamec1请注意,拦截器生成器将传递给 type config 参数。拦截器本身就是 可配置,并且可以传递配置值,就像传递给任何其他可配置组件一样。在上面的示例中,事件首先传递给 HostInterceptor,然后由 HostInterceptor 返回事件 然后传递给 TimestampInterceptor。原创 2024-05-19 23:40:35 · 1002 阅读 · 1 评论 -
Idea中flume的Interceptor的编写教程
/键入implements Interceptor{} 光标定位到Interceptor alt + enter键选择导入类导入flume的Interceptor即可 import org.apache.flume.interceptor.Interceptor;打开四个窗口,前三个分别运行flume1.conf、flume2.conf、flume3.conf 配置的进程。注意位置是将来打包文件存放的位置,即我们打包好的文件在这/export/data个目录下寻找。# 接收c1中的数据。原创 2024-05-19 19:42:25 · 1311 阅读 · 0 评论 -
flume使用实例
由此可见当我们操作hive的时候 hive.log 就更新,由于我们监控了hive.log文件所以当有新数据追加到hive.log的时候 就会监听到 并打印到控制台。参数-n 表示jvm进程名 -c表示本次启动读取的配置文件conf目录下的文件 -f 表示具体执行的文件。a1.channels.c1.capacity = 1000 #1000个event。【2】创建文件 flume-taildir-hdfs.conf。#记录最后监控文件的断点的文件,此文件位置可不改。#文件的滚动与 Event 数量无关。原创 2024-05-19 19:26:48 · 1089 阅读 · 0 评论 -
flume sink 简介及官方用例
https://flume.apache.org/FlumeUserGuide.html#source-and-sink-batch-sizes-and-channel-transaction-capacities原创 2024-05-19 18:23:00 · 811 阅读 · 0 评论 -
Flume Channels简介及官方用例
通道是在代理上暂存事件的存储库。Source 添加事件,Sink 将其删除。事件存储在具有可配置最大大小的内存中队列中。它非常适合需要更高吞吐量的流,但在agent发生故障时会丢失暂存数据Defaultc1memory100001000020800000。原创 2024-05-19 18:30:14 · 613 阅读 · 0 评论 -
flume简介
如果interceptors需要删除事件,则它不会在返回的列表中返回该事件。Sink作为Agent的输出口,负责不断轮询Channel中的事件并批量移除事件,根据配置文件的配置将事件写入到HDFS等存储系统,或者发到另一个Agent中。Source作为Agent的输入口,负责接收各种类型、各种格式的日志数据,包括 avro、thrift、exec、jms、spooling directory、netcat、taildir、sequence generator、syslog、http、legacy。原创 2024-05-19 17:50:45 · 250 阅读 · 0 评论 -
flume source 简介及官方用例
一个类似 netcat 的源,它侦听给定的端口并将每行文本转换为一个事件。类似于 nc -k -l [主机] [端口]。换句话说,它打开一个指定的端口并侦听数据。期望提供的数据是换行符分隔的文本。每行文本都会变成一个 Flume 事件,并通过连接的通道发送Defaultchannelstypebindporta1.sourcesr1c1netcat0.0.0.06666c1。原创 2024-05-19 18:05:06 · 737 阅读 · 0 评论 -
flume的安装配置
4.使用flume-ng version 可查到相关版本信息即安装成功。分发到其他节点并source /etc/profile。# console表示同时将日志输出到控制台。--conf:Flume通用配置目录。--conf-file:配置文件位置。新起一个终端并连接44444端口。3. 修改flume的配置文件。# 配置flume的环境变量。输入hello flume。在flume控制台看到输出。Flume使用demo。--name:代理名称。# 指定日志输出路径。5.flume的使用。原创 2024-05-19 17:32:56 · 845 阅读 · 0 评论