本文档详细介绍了如何部署Flume 1.8和Kafka 1.0.0，包括下载、解压、配置Flume-Kafka.conf文件，以及启动Flume和Kafka服务。此外，还提到了如何创建Kafka topic，使用Kafka Manager进行可视化，以及探讨了ClickHouse的MergeTree引擎在大数据分析中的应用。
部署
flume
下载链接 https://flume.apache.org/download.html 【flume 1.8】
Kafka
https://kafka.apache.org 【kafka_2.11-1.0.0.tgz】
移动文件
~/Downloads $ tar zxvf apache-flume-1.8.0-bin.tar.gz
~/Downloads $ mv apache-flume-1.8.0-bin /usr/local #注意root执行
~/Downloads $ tar zxf kafka_2.11-1.0.0.tgz
~/Downloads $ mv kafka_2.11-1.0.0.tgz /usr/local #注意root执行
配置文件
apache-flume-1.8.0-bin/conf $ touch flume-kafka.conf
apache-flume-1.8.0-bin/conf $ vim flume-kafka.conf
#agent1组件名称
agent1.sources = source
agent1.sinks = sink
agent1.channels = channel
#agent1-source
agent1.sources.source.type = spooldir
agent1.sources.source.spoolDir = /usr/local/apache
最低0.47元/天 解锁文章
1378
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
