![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
曾牛
成功的三个关键,坚持,坚持,再坚持
展开
-
Hadoop生态架构之kafka基本操作以及集成flume
1.kafka基本理论知识1、定位:分布式的消息队列系统,同时提供数据分布式缓存功能(默认7天)2、消息持久化到磁盘,达到O(1)访问速度,预读和后写,对磁盘的顺序访问(比内存访问还要快)3、Storm(分布式的实时计算框架)Kafka目标成为队列平台4、基本组件:Broker:每一台机器是一个BrokerProducer:日志消息生产者,主要写数据Consumer:日志消息消费者...原创 2020-01-11 16:07:29 · 313 阅读 · 0 评论 -
Flume的安装部署
1.Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境上传安装包到数据源所在节点上然后解压tar -zxvf apache-flume-1.6.0-bin.tar.gz然后进入flume的目录,修改conf下的flume-env.sh,在里面配置JAVA_HOME2、根据数据采集的需求配置采集方案,描述在配置文件中(文件名可任意自定义)3、指定采集方...原创 2019-03-02 11:32:08 · 114 阅读 · 0 评论 -
flume采集案例
1、采集目录到HDFS采集需求:某服务器的某特定目录下,会不断产生新的文件,每当有新文件出现,就需要把文件采集到HDFS中去根据需求,首先定义以下3大要素采集源,即source——监控文件目录 : spooldir 下沉目标,即sink——HDFS文件系统 : hdfs sink source和sink之间的传递通道——channel,可用file channel 也可以用内...原创 2019-03-02 11:47:20 · 162 阅读 · 0 评论