flume-ng+kafka单机安装测试

最新推荐文章于 2023-02-22 10:51:20 发布

剪刀手麦小孩

最新推荐文章于 2023-02-22 10:51:20 发布

阅读量2.1k

点赞数 1

文章标签： flume-ng kafka 单点

本文链接：https://blog.csdn.net/maixiaohai/article/details/51183105

版权

[作为一个程序员，需要一定的匠心精神]

一、kakfa安装配置

1.download

根据flume目录lib下的kafka版本，下载kafka_2.10-0.8.1.1.tgz

2.解压

tar -xvzf kafka_2.10-0.8.1.1.taz

3.修改配置文件

config目录下zookeeper.properties和server.properties

zookeeper.properties:

主要修改的是clientPort，本例中保持2181不变。

server.properties:

主要修改broker.id，host.name，port和zookeeper.connect

broker.id= 123 （随便一个整数）

host.name=localhost （本机）

port=9092 (不变)

zookeeper.connect=localhost:2181（和zookper配置保持一致即可）

4.单节点启动

先启动zookeeper

./bin/zookeeper-server-start.sh ./config/zookeeper.properties

再启动kafka

./bin/kafka-server-start.sh ./config/server.properties

5.测试

创建topic

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testKafka

查看topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

显示testKafka为运行正确

二、flume安装配置

1.download

官网下载，版本：1.6.0

2.解压，配置环境变量

tar -xzvf apache-flume-1.6.0-bin.tar.gz

使用zsh，所以在~/.zshrc里加入如下两行：

export FLUME_HOME="/Users/maixiaohai/cloudera/apache-flume-1.6.0-bin"

export PATH="${FLUME_HOME}/bin"

source ~/.zshrc

PS：由于flume目录lib下已经自带了kafka相关的jar包，所以不用再自己cp过来

3.修改配置文件flume-cont.properties

cp到flume-kafka-conf.properties，配置具体如下：

# Sources, channels and sinks are defined per agent,
# in this case called 'agent'

agent.sources = source1
agent.channels = channel1
agent.sinks = sink1

# set source1
agent.sources.source1.type = spooldir
agent.sources.source1.spoolDir = /Users/maixiaohai/test
agent.sources.source1.channels = channel1

# set sink1
agent.sinks.sink1.type = org.apache.flume.sink.kafka.KafkaSink
agent.sinks.sink1.topic = sink1
agent.sinks.sink1.brokerList = localhost:9092
agent.sinks.sink1.channel = channel1
agent.sinks.sink1.batchSize = 20

# set channel1
agent.channels.channel1.type = memory
agent.channels.channel1.capacity = 100
agent.channels.channel1.transactionCapacity = 100

其中，topic是指对应到kafka中的topic，brokerList需要和kafka中配置一致

source的方式选取spooldir，监测/Users/maixiaohai/test/目录下面的新增

三、启动

1.启动zookeeper和kafka，启动命令入part one所示

2.启动flume

bin/flume-ng agent -n agent -c conf -f conf/flume-kafka-conf.properties -Dflume.root.logger=INFO,console

-n后面的agent为配置中代理的具体名字，本例中即为agent

3.启动kafka中监听输入的程序

bin/kafka-console-consumer.sh --topic sink1 --zookeeper localhost:2181

当有输入的时候，会console出来

四、测试

1.spooldir方式