Flume使用大全之kafka source-kafka channel-hdfs(SSL加密)

最新推荐文章于 2023-04-16 20:54:34 发布

大数据令狐冲

最新推荐文章于 2023-04-16 20:54:34 发布

阅读量1k

点赞数

本文链接：https://blog.csdn.net/xiaoji88326518/article/details/76851003

版权

本文详细介绍了如何配置Flume agent，使用SSL加密从多个Kafka主题消费数据，并将数据存储到HDFS。配置涵盖了kafkaSource、kafka Channel和hdfsSink的详细设置，包括SSL信任商店、密钥商店和超时参数等。

摘要由CSDN通过智能技术生成

agent.sources = kafkaSource1
agent.channels = kafkaChannel
agent.sinks = hdfsSink
agent.sources.kafkaSource1.channels = kafkaChannel
agent.sinks.hdfsSink.channel = kafkaChannel

agent.sources.kafkaSource1.type=org.apache.flume.source.kafka.KafkaSource
agent.sources.kafkaSource1.zookeeperConnect=node1:2181
agent.sources.kafkaSource1.topic=bpu_sensor_router,bpu_sensor_record_present,bpu_group_status_present,bpu_gateway_heartbeat,bpu_gateway_router,bpu_sensor_heartbeat
agent.sources.kafkaSource1.consumer.group.id=flume
agent.sources.kafkaSource1.kafka.consumer.security.protocol=SSL

#目录及密码根据实际情况修改
agent.sources.kafkaSource1.kafka.consumer.ssl.truststore.location =/home/client/client.truststore.jks
agent.sources.kafkaSource1.kafka.consumer.ssl.truststore.password=test1234
agent.so