gym02的博客

1.监控端口数据案例1)案例需求首先启动Flume任务，监控本机44444端口 [服务端]；然后通过netcat工具向本机44444端口发送消息 [客户端]；最后Flume将监听的数据实时显示在控制台。2)需求分析3)实现步骤1[root@flume0 apache-flume-1.9.0-bin]# yum install -y nc2.创建Flume Agent配置文件demo1-netcat-memory-logger.conf//job目录为flume安装目录下

官网上内置拦截器的表由于拦截器一般针对Event的Header进行处理，这里先介绍一下Eventevent是flume中处理消息的基本单元，由零个或者多个header和body组成。Header 是 key/value 形式的，可以用来制造路由决策或携带其他结构化信息(如事件的时间戳或事件来源的服务器主机名)。你可以把它想象成和 HTTP 头一样提供相同的功能——通过该方法来传输正文之外的额外信息。Body是一个字节数组，包含了实际的内容。flume提供的不同source会给其生成的event

概述1.Flume的定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。Flume最主要的作用是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。2.Flume的优点① 可以和任意存储进程集成② 输入的数据速率大于写入目的存储的速率，flume会进行缓冲，减小hdfs的压力。③ flume中的事务基于channel，使用了两个事务模型（sender + receiver），确保消息被可靠发送。Fl

Source组件类型Netcat Source接受来自于数据客户端的请求数据，常用于测试开发Exec Source运行一个给定的unix指令，将指令的执行结果作为数据来源Spooling Directory Source监视指定目录的新文件，并从出现的新文件中解析事件Kafka Source获取来自于Kafka集群中数据Sequence Generator Source序列产生...