flume
欲乘风,潇潇雨
what can i say, just do it.
展开
-
Flume-原理详解+参数详解+案例演示
What Flume? Flume 简介: Flume用于将多种来源的日志以流的方式传输至Hadoop或者其它目的地(一种可靠、可用的高效分布式数据收集服务) Flume拥有基于数据流上的简单灵活架构,支持容错、故障转移与恢复 批处理:处理离线数据,冷数据。单个处理数据量大,处理速度比流慢。 流处理:在线,实时产生的数据。单次处理的数据量小,但处理速度更快。 Flume 架构: Flume的核心是把数据从数据源(source)收集过来,再将收集到的数据送到指定的目的地(sink),为了保证传输过程一定成原创 2020-08-17 19:25:28 · 924 阅读 · 0 评论 -
Flume--Flume安装+nc测试
Flume安装教程 1.获取资源 链接: https://pan.baidu.com/s/10fpZ0Iq2G96Z6PdEgzTAHw 提取码: gx8b 2.解压并移动 flume 安装包 tar -zxf flume-ng-1.6.0-cdh5.14.2.tar.gz mv apache-flume-1.6.0-cdh5.14.2-bin/ soft/flume160 3.修改包下相关配置文件 #进入conf目录 cd /opt/soft/flume160/conf #复制env备份文件,形成正式原创 2020-08-17 08:37:12 · 683 阅读 · 0 评论