Flume
weixin_48377653
这个作者很懒,什么都没留下…
展开
-
使用flume从kafka采集日志
使用flume从kafka采集日志1.kafka环境准备创建topicbin/kafka-topic.sh --create--topic app_log --partitions 2 --replication-factor 2 --zookeeper localhost:21812.部署日志采集器验证是否成功:bin/kafka-console-consumer.sh --topic app_log --bootstrap-server doitedu01:9092,doit.原创 2020-08-31 20:44:48 · 355 阅读 · 0 评论 -
Flume主要概念及启动流程
这里写## 标题自定义目录标题核心概念:AgentEvent启动命令flume是是一个数据采集工具;可以从各种各样的数据源(服务器)上采集数据传输(汇聚)到大数据生态的各种存储系统中(Hdfs、hbase、hive、kafka);核心概念:Agentflume采集系统就是由一个个agent连接起来所形成的一个或简单或复杂的数据传输通道。对于每一个Agent来说,它就是一个独立的守护进程(JVM),它负责从数据源接收数据,并发往下一个目的地每一个agent相当于一个数据(被封装成Event对象)原创 2020-08-30 21:33:59 · 1000 阅读 · 0 评论