- 博客(2)
- 收藏
- 关注
RSS订阅原创 使用flume从kafka采集日志
使用flume从kafka采集日志 1.kafka环境准备 创建topic bin/kafka-topic.sh --create--topic app_log --partitions 2 --replication-factor 2 --zookeeper localhost:2181 2.部署日志采集器 验证是否成功: bin/kafka-console-consumer.sh --topic app_log --bootstrap-server doitedu01:9092,doit.
2020-08-31 20:44:48
320
原创 Flume主要概念及启动流程
这里写## 标题自定义目录标题核心概念:AgentEvent启动命令 flume是是一个数据采集工具；可以从各种各样的数据源（服务器）上采集数据传输（汇聚）到大数据生态的各种存储系统中（Hdfs、hbase、hive、kafka）； 核心概念: Agent flume采集系统就是由一个个agent连接起来所形成的一个或简单或复杂的数据传输通道。对于每一个Agent来说,它就是一个独立的守护进程(JVM),它负责从数据源接收数据，并发往下一个目的地 每一个agent相当于一个数据(被封装成Event对象)
2020-08-30 21:33:59
963
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人