Flume
缘不易
一切的失败,都是你不够努力,不够优秀!!
诚接 计算机毕业设计项目
展开
-
Flume 之数据写入hdfs
案例 :监听/home/data文件夹此案例前提:hadoop已经搭建完成(可用伪分布式)启动hadoop:start-all.sh1.在/home/software/flume-1.9.0/job/目录下创建hdfs.template.conf并配置如下信息:a3.sources = r3a3.sinks = k3a3.channels = c3# Describe/config...原创 2020-05-04 13:42:05 · 2804 阅读 · 3 评论 -
Flume之Sink类型
Logger Sink记录指定级别(Debug、Eroor)的日志,大部分时间Logger用来测试或调试。并不是真正的业务场景中的需求。想要使用logger sink的前提要求是,在conf (-c)参数所指定的目录下一定要有log4j的配置文件。根据设计,logger sink将内容的限制为16个字节,从而数据过多而占用屏幕。如果想要查看调试完整的内容,那么应该使用的是其他的sink...原创 2020-05-04 12:12:29 · 2269 阅读 · 0 评论 -
Flume之 Memory类型的Channel
简介允许所有的数据存储在内存中(内存的大小是可以指定的)。好处:速度快,吞吐量大坏处:根据计算机工作的原理就可以得知,凡是在内存中计算的数据,只要电脑出现故障导致停机,那么内存中数据是不会进行保存的。所适用的场景:高吞吐量,允许数据丢失的业务中。配置项说明typememorycapacity100事件存储在内存中的最大数值。实际工作中,建议根据业务调整:4 ...原创 2020-05-04 11:12:45 · 958 阅读 · 0 评论 -
Flume之 File类型的Channel
简介允许所有的数据存储在硬盘中。好处:数据永远不丢失。坏处:因为使用磁盘的存储方式会频繁的发生磁盘I/O,所以会极大的降低Flume的吞吐量。配置项说明typefiledataDirs数据存放的目录,可以使用多个,多目录之间使用逗号分割即可。实验步骤:1.在job 文件下创建新文件file.template.conf并且配置如下信息:a1.sourc...原创 2020-05-04 11:15:43 · 1079 阅读 · 0 评论 -
Flume之Source的Exec类型
编写配置文件# 配置Agent a1的组件a1.sources=source1a1.channels=channel1a1.sinks=sink1# 描述/配置a1的source1a1.sources.source1.type=exec#具体执行的命令a1.sources.source1.command=ping www.baidu.com# 描述/配置a1的channel1...原创 2020-05-04 11:15:58 · 1429 阅读 · 0 评论 -
Flume之Avro类型的Source
简介监听Avro端口来接受外部avro客户端的事件流,和netcat不同的是,avro-source接收到的是经过avro序列化之后的数据,然后反序列化数据继续传输,所以,如果avro-source的话,源数据必须是经过avro序列化之后的数据。而netcat接收的是字符串格式的数据。在job文件下创建新文件avro.template.conf并且配置如下信息: 配置三个组件a1....原创 2020-05-04 11:15:01 · 2647 阅读 · 0 评论 -
Flume之netcat 类型
flume 家目录下创建job文件在job文件夹下创建文件 template.conf编辑template.conf类容如下启动flume测试(另一台虚拟机打开)原创 2020-05-04 11:16:43 · 1071 阅读 · 0 评论 -
Flume的安配置及测试
安装步骤:检查centos 是否安装jdk(建议1.8 或1.8以上)上传Flume的安装包至虚拟机/home/software_package/。解压 文件到/home/software。tar -zxvf filename在${FLUME_HOME}/job目录下,创建一个配置文件,名称可自定义,后缀文件也可以自定义,但建议按照source-sink.conf格式进行配...原创 2020-04-28 23:25:03 · 399 阅读 · 0 评论 -
Flume入门及运行原理
简介Flume最早是由一个名叫Cloudera公司开发日志收集系统,后来贡献给Apache。Flume支持在日志系统中定制各类的数据发送方,用于收集数据。Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,支持在日志系统中定制各种、各类的数据发送方,用于收集数据(Source),同时,Flume提供了对数据进行简单的处理,并写到各种数据接收方(可以定制)的能力(Si...原创 2020-04-28 22:33:22 · 949 阅读 · 0 评论