![](https://img-blog.csdnimg.cn/20200330224904605.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
flume
flume
小哇666
专注web/大数据
展开
-
flume 实时读取本地文件到kafka
本文写的比较简单,因为都大同小异,如果忘记flume的使用和语法等,可以看下如下文章,回顾下flume 实时读取本地文件到hdfshttps://blog.csdn.net/qq_41712271/article/details/103939224#Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1 # Describe/configure the sourcea1.sources.r原创 2020-10-02 18:41:45 · 1321 阅读 · 0 评论 -
Flume Agent 内部原理和事务
重要组件:1)ChannelSelectorChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型,分别是 Replicating(复制)和 Multiplexing(多路复用)。ReplicatingSelector 会将同一个 Event 发往所有的 Channel,Multiplexing 会根据相应的原则,将不同的 Event 发...原创 2020-01-14 15:31:50 · 291 阅读 · 0 评论 -
Flume-Taildir Source 监控目录下多个文件的追加
Exec source 适用于监控一个实时追加的文件,但不能保证数据不丢失;SpooldirSource 能够保证数据不丢失,且能够实现断点续传,但延迟较高,不能实时监控;而 TaildirSource 既能够实现断点续传,又可以保证数据不丢失,还能够进行实时监控。1 创建配置文件 flume-taildir-hdfs.conf监控/tmp/upload/ 目录下以 COMPLETED ...原创 2020-01-14 15:08:52 · 374 阅读 · 0 评论 -
flume 配置 多Source汇总数据到单Flume
1) 案例需求:hadoop103上的Flume-1监控文件/opt/module/group.log,hadoop102上的Flume-2监控某一个端口的数据流,Flume-1与Flume-2将数据发送给hadoop104上的Flume-3,Flume-3将最终数据打印到控制台。2)需求分析:0.准备工作在hadoop102、hadoop103以及hadoop104的flume...原创 2020-01-13 22:37:14 · 689 阅读 · 0 评论 -
flume 单Source、单Channel、多Sink(负载均衡)
在flume安装路径下创建job目录,进入job目录,创建group2目录配置1个接收日志文件的source和1个channel、两个sink,分别输送给flume-flume-console1和flume-flume-console21 配置flume-netcat-flume.conf文件# Name the components on this agenta1.sou...原创 2020-01-13 21:16:04 · 757 阅读 · 0 评论 -
flume配置 单Source多Channel、Sink
目标:使用 flume-1 监控文件变动,flume-1 将变动内容传递给 flume-2,flume-2 负责存储到HDFS。同时 flume-1 将变动内容传递给 flume-3,flume-3 负责输出到local filesystem。这里涉及到多个Agent,所以中间用Avro序列化传递消息flume目录下,新建job目录,job目录下创建group1文件夹1 新建...原创 2020-01-13 20:11:13 · 701 阅读 · 0 评论 -
flume 实时读取目录文件(spooldir)到 HDFS
/opt/module/flume/upload目录中,.COMPLETED后缀表示已经上传成功,.tmp后缀的表示还没有上传上传完成后的源文件会被加上.COMPLETED后缀,并且.temp文件不会上传到HDFS创建dir_hdfs.conf 配置文件a3.sources = r3a3.sinks = k3a3.channels = c3# Describe/configu...原创 2020-01-11 19:42:08 · 1139 阅读 · 1 评论 -
flume 实时读取本地文件到hdfs
1.Flume要想将数据输出到HDFS,必须持有Hadoop相关jar包将commons-configuration-1.6.jar、hadoop-auth-2.7.2.jar、hadoop-common-2.7.2.jar、hadoop-hdfs-2.7.2.jar、commons-io-2.4.jar、htrace-core-3.1.0-incubating.jar拷贝到/flu...原创 2020-01-11 18:20:38 · 723 阅读 · 0 评论 -
flume 入门案例-1
1 在 flume 安装目录下创建 job 文件夹并进入 job 文件夹mkdir jobcd ./jobvim flume-netcat-logger.conf在 flume-netcat-logger.conf 文件中添加如下内容粘贴的时候,代码中的注释有影响,自己调一下a1.sources = r1a1.sinks = k1a1.channels...原创 2020-01-10 23:31:13 · 396 阅读 · 0 评论 -
netcat 网络端口消息发送工具 最基本使用方法
服务端在服务端输入以下命令,通过nc建立一台服务器用于监听端口,此时nc处于了监听状态,我们可以开启一台客户端来访问对应端口nc -l 9999或nc -k -l 9999强制netcat服务器端保持启动状态客户端现在客户端向服务器发起了链接,尝试在链接中的客户端随便输入一些信息,可以在服务器端看到,服务器会直接输出这些信息到控制台nc 127.0.0.1 9999...原创 2020-01-10 11:10:07 · 1992 阅读 · 1 评论