![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
飞鸟与鹿
这个作者很懒,什么都没留下…
展开
-
Flume常用组件详解之Source
Flume常用组件详解:SourceFlume支持众多的source、sink、拦截器等组件具体实现,详细手册可参考官方文档http://flume.apache.org/FlumeUserGuide.html一、netcatsource1、工作机制启动一个socket服务,监听一个端口;将端口上收到的数据,转成event写入channel;2、配置文件a1.sources = s1a1.sources.s1.type = netcata1.sources.s1.bi.原创 2020-11-11 17:21:58 · 2364 阅读 · 2 评论 -
Flume入门案例
一、Flume入门案例先用一个最简单的例子来测试一下程序环境是否正常1、案例需求说明2、组件选择(1)Source组件 NetCat:(2)Channel组件MemoryChannel: capacity: 缓存的容量 ,可缓存的event的数量 transactionCapacity: 事务容量,支持出错情况下的event回滚事件数量。(3)Sink组件: logger Sink3、部署配置实现(1)创建部署配置文件...原创 2020-11-11 12:23:50 · 177 阅读 · 2 评论 -
Flume简介、特点、核心概念及安装
一、什么是flume?flume是一个可分布式日志收集系统,为hadoop相关组件之一。Flume 是可以收集例如日志,事件等数据资源,并将这些数量庞大的数据从各项数据源中集中起来存储的工具/服务。Flume可以采集文件,socket数据包(网络端口)、文件夹、kafka、mysql数据库等各种形式源数据,又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中。二、Flume特性Flume是一个分布式、可靠、和高可用的海量日志采.原创 2020-11-09 13:58:56 · 17975 阅读 · 0 评论