![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
RivenDong
这个作者很懒,什么都没留下…
展开
-
Flume实例:监控本地文件夹并写入到HDFS中(四)
文章目录1. 配置文件介绍2. 准备工作3. 开始测试1. 配置文件介绍下面我将以官方文档中给出的一个例子介绍一下FLume的配置文件。它描述了一个单节点Flume部署。该配置允许用户生成事件,然后将它们记录到控制台。# example.conf: A single-node Flume configuration# Name the components on this agent...原创 2019-10-20 20:14:40 · 1731 阅读 · 0 评论 -
Flume实例:实时测试客户端传输的数据(三)
文章目录1. 介绍2. 准备工作1. 介绍在slave001节点/home/hadoop目录创建netcat.conf文件,将下列内容插入到netcat.conf,启动netcat.conf程序用来监听某个端口,并捕获传输的数据,在其他节点(slave002)使用Telnet协议发送数据。整个过程如同使用QQ聊天软件向另一个客户端发送消息,但对方接收不能回复。2. 准备工作在slave0...原创 2019-10-20 17:07:05 · 1461 阅读 · 0 评论 -
Flume集群搭建(二)
文章目录1. 前言2. 下载解压3. 安装配置4. 分发验证1. 前言在Flume基本原理与架构中较为系统的讲解了Flume的作用、组件、架构等知识,本篇文章将讲解Flume集群的搭建。Flume框架在jar包上依赖Hadoop和Zookeeper,并不要求Flume启动时必须启动Hadoop和Zookeeper服务。2. 下载解压Flume的下载地址为:Flume-1.6.0下载完毕...原创 2019-10-20 15:25:52 · 1407 阅读 · 0 评论 -
Flume基本原理与架构(一)
文章目录1. 前言2. Flume的特点2.1 事务性2.2 可靠性2.3 多层代理3. Flume架构4. Flume的主要组件4.1 Event、Client与Agent数据传输组件4.2 Source与Event的接收组件4.3 Channel与Event的传输组件4.4 Sink与Event的发送组件4.5 其它组件1. 前言Flume是Cloudera(Hadoop数据管理软件与服务...原创 2019-09-29 19:43:23 · 1663 阅读 · 0 评论