Kafka producer(scala版)

最新推荐文章于 2024-10-07 18:49:11 发布

lmalds李麦迪

最新推荐文章于 2024-10-07 18:49:11 发布

阅读量1w

点赞数 2

分类专栏： kafka Scala 文章标签： scala kafka

本文链接：https://blog.csdn.net/lmalds/article/details/51798814

版权

本文介绍了使用Scala编写的Kafka Producer程序，该程序每隔3秒检查特定目录下的文件，将文件内容批量发送到Kafka，并在完成后将文件移至另一目录。在测试中，创建的Producer成功地将一个包含6400条记录的CSV文件发送到Kafka，Flink能够快速消费这些数据，并验证了文件已被正确移动。

摘要由CSDN通过智能技术生成

1、简介

上一篇blog提到用Flink消费Kafka的数据，kafka的produce是用kafka console produce的。今天主要测试下kafka的produce程序（scala编写），模拟在应用服务器上日志的收集，看看Flink能否正常消费数据。

这里的producer实现了每隔3秒去查找特定目录下的文件，将文件的内容批量produce到kafka（async），然后将文件重命名并移动到另外的目录。

2、代码

2.1、添加maven依赖

<!--kafka相关的依赖-->
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka_2.10</artifactId>
    <version>0.8.2.1</version>
</dependency>

<!--scala相关的依赖-->
<dependency>
    <groupId>org.scala-lang</groupId>
    <artifactId>scala-library</artifactId>
    <version>2.10.4</version>
</dependency>

<!--reflect IO的依赖-->
<dependency>
    <groupId>org.scala-lang</groupId>
    <artifactId>scala-reflect</artifactId>
    <version>2.10.4</