Scala Flink1.7 消费kafka2.x模板数据存入hdfs

最新推荐文章于 2024-08-07 09:35:09 发布

毛毛L燕燕

最新推荐文章于 2024-08-07 09:35:09 发布

阅读量2.1k

点赞数

文章标签： scala flink hdfs sink Dgarph

本文链接：https://blog.csdn.net/hxw79321/article/details/86612814

版权

该博客通过Scala实现Flink从Kafka2.x消费数据，然后进行wordcount操作，并将结果存入HDFS。此外，还展示了如何将数据存储到Dgraph图数据库中，提供了详细的Scala代码示例。

摘要由CSDN通过智能技术生成

demo1将数据从kafka之中读取出来，wordwount最后将写出的数据存入hdfs
demo2 将数据存入Dgraph 图数据库（全为Scala实现）

kafka、flink等相关依赖与 maven打包依赖
<dependencies>
        <dependency>
            <groupId>org.apache.beam</groupId>
            <artifactId>beam-sdks-java-io-kafka</artifactId>
            <version>2.4.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>0.10.1.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.beam</groupId>
            <artifactId>beam-runners-core-java</artifactId>
            <version>2.4.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.beam</groupId>
            <artifactId>beam-runners-flink_2.11</artifactId>
            <version>2.4.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>1.5.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.11</artifactId>
            <version>1.5.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-cor