yingzi的技术博客

自定义Sink文章目录1）介绍2）需求3）需求分析4）编码5）配置文件6）启动命令7）检验1）介绍 Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。 Sink 是完全事务性的。在从 Channel 批量删除数据之前，每个 Sink 用 Channel 启动一个事务。批量事件一旦成功写出到存储系统或下一个 Flume Agent，Sink 就利用 Channel 提交事务。事务一旦被提交，该 Cha

自定义Source文章目录1）介绍2）需求3）分析4）编码5）配置文件6）启动命令7）检验1）介绍 Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。官方提供的 source 类型已经很多，但是有时候并不能满足实际开发当中的需求，此时我们就需要根据实际需求自定

自定义Interceptor文章目录1）案例需求2）需求分析3）编码4）配置文件5）启动命令6）检验1）案例需求使用 Flume 采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统2）需求分析​ 在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要 发送到不同的分析系统。此时会用到 Flume 拓扑结构中的 Multiplexing 结构，Multiplexing 的原理是，根据 event 中 Header 的某个 key 的值，将不同的 e

在用ganglia时出现You don’t have permission to access /ganglia on this server在cmd上输入：ipconfig查看此处把其他的都注释掉（ps：不注释掉就没权限访问）注释掉后，重启相关命令，成功~

文章目录一、Flume事务二、Flume Agent 内部原理三、Flume 拓扑结构1.简单串联2.复制和多路复用3.负载均衡和故障转移4.聚合一、Flume事务二、Flume Agent 内部原理1）ChannelSelector ChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型，分别是 Replicating（复制）和 Multiplexing（多路复用）。 ReplicatingSelector 会将同一个 Event 发往所有

聚合文章目录1）案例需求2）需求分析3）前期准备4）配置文件5）启动相关命令6）检验1）案例需求hadoop102 上的 Flume-1 监控文件/opt/module/group.log，hadoop103 上的 Flume-2 监控某一个端口的数据流，Flume-1 与 Flume-2 将数据发送给 hadoop104 上的 Flume-3，Flume-3 将最终数据打印 到控制台2）需求分析3）前期准备确保其他主机上也有flume软件包信息在 hadoop102、hadoop103

负载均衡和故障转移文章目录1）需求2）需求分析3）前期准备4）配置文件5）启动相关命令6）检验7）补充1）需求​ 使用 Flume1 监控一个端口，其 sink 组中的 sink 分别对接 Flume2 和 Flume3，采用 FailoverSinkProcessor，实现故障转移的功能2）需求分析3）前期准备在/opt/module/flume/job 目录下创建 group2 文件夹（存放配置文件）4）配置文件配置 1 个 netcat source 和 1 个 channel、1

复制和多路复用文章目录1）需求2）需求分析3）前期准备4）配置文件5）启动相关命令6）检验1）需求使用 Flume-1 监控文件变动，Flume-1 将变动内容传递给 Flume-2，Flume-2 负责存储 到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3，Flume-3 负责输出到 Local FileSystem2）需求分析3）前期准备（1）在/opt/module/flume/job 目录下创建 group1 文件夹（存放配置文件）（2）在/opt/module/

文章目录Flume入门案例一：监控端口数据1）案例需求2）需求分析3）实现步骤Flume入门案例二：实时监控单个追加文件1）案例需求：2）需求分析3）实现步骤Flume入门案例三：实时监控目录下多个新文件1）案例需求2）需求分析3）实现步骤Flume入门案例四：实时监控目录下的多个追加文件1）案例需求2）需求分析3）实现步骤Flume入门案例一：监控端口数据1）案例需求使用 Flume 监听一个端口，收集该端口数据，并打印到控制台2）需求分析3）实现步骤（1）安装 netcat 工具sudo

文章目录1.Flume定义2.Flume基础架构2.1Agent2.2Source2.3Channel2.4Sink2.5Event1.Flume定义Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。2.Flume基础架构2.1AgentAgent是一个JVM进程，它以事件的形式将数据从源头送至目的Agent主要由三部分组成：Source,Channel,Sinke2.2Source​ Sourc