Flume
文章平均质量分 86
小刘干饭第一名
这个作者很懒,什么都没留下…
展开
-
大数据开发之Flume实践
文章目录1. 通过netcat作为source, sink为logger的方式1.1 conf文件配置1.2 启动控制台1.3 远程连接端口1.4 测试2. 通过netcat作为source, sink为logger的方式,只留字母,过滤掉数字2.1 配置conf文件2.2 启用控制台和远程连接2.3 测试 1. 通过netcat作为source, sink为logger的方式 1.1 conf文件配置 # example.conf: 一个单节点的 Flume 实例配置 # 配置Agent a1各个组原创 2021-01-20 17:28:24 · 227 阅读 · 0 评论 -
大数据开发之Flume基础
一、Flume基础 1. Flume是什么 Flume是数据采集,日志收集的框架,通过分布式形式进行采集 Flume本质:可以高效从各个网站服务器中收集日志数据,并且存储到HDFS、hbase 2. Flume的功能 – 支持在日志系统中定制各类数据发送方,用于收集数据 – Flume提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力 3. Flume数据源 Console、RPC、Text、Tail、Syslog、Exec等 4. Flume特性 Flume 是一个分布式、可靠、和高可用的海量日原创 2021-01-17 22:04:26 · 257 阅读 · 0 评论