Flink Source(数据源）

最新推荐文章于 2024-09-25 12:23:09 发布

菜鸟也学大数据

最新推荐文章于 2024-09-25 12:23:09 发布

阅读量993

点赞数

分类专栏：菜鸟也学大数据 Flink 文章标签：大数据 flink

本文链接：https://blog.csdn.net/weixin_38468167/article/details/111939380

版权

菜鸟也学大数据同时被 2 个专栏收录

167 篇文章 14 订阅

订阅专栏

Flink

23 篇文章 0 订阅

订阅专栏

以集合作为数据源

env.fromCollection(List(1, 2, 3, 4, 5, 6))

以文件作为数据源

env.readTextFile("路径/文件名.格式")

以端口作为数据源

env.socketTextStream("192.168.**.**",端口号)

以Kafka作为数据源

	val prop = new Properties()
    prop.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"192.168.**.**:9092")
    prop.setProperty(ConsumerConfig.GROUP_ID_CONFIG,"flink-kafka-demo")
    prop.setProperty(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer")
    prop.setProperty(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringDeserializer")
    prop.setProperty(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG,"latest")

	env.addSource(new FlinkKafkaConsumer[数据类型]([Topic名],new SimpleStringSchema(),prop))