使用flume将csv文件导入到kafka主题（超简单）

最新推荐文章于 2023-09-15 13:18:44 发布

所行化坦途

最新推荐文章于 2023-09-15 13:18:44 发布

阅读量2.3k

点赞数 5

分类专栏： Flume Kafka 文章标签： flume kafka csv

本文链接：https://blog.csdn.net/weixin_48482704/article/details/115333564

版权

本文档详细介绍了如何启动Zookeeper和Kafka服务，检查CSV文件的结构，创建Kafka主题，并配置Flume从CSV文件中过滤数据并将其发送到Kafka。在配置Flume时，特别考虑了行最大字符数和批处理设置以优化性能。最后，通过验证确认数据已成功导入到Kafka中。

摘要由CSDN通过智能技术生成

1.首先启动zookeeper和kafka服务

[root@dw data]# zkServer.sh start
[root@dw data]# kafka-server-start.sh /opt/software/kafka211/config/server.properties

在这里插入图片描述

2.查看csv文件的信息

(1)文件是否有表头

[root@dw data]# cat event_attendees.csv|head -2
event,yes,maybe,invited,no
1159822043,1975964455 252302513 4226086795 3805886383 1420484491 3831921392 3973364512,2733420590 517546982 1350834692 532087573 583146976 3079807774 1324909047,1723091036 3795873583 4109144917 3560622906 3106484834 2925436522 2284506787 2484438140 3148037960 2142928184 1682878505 486528429 3474278726 2108616219 3589560411 3637870501 1240238615 1317109108