Flink流处理API之Sink

最新推荐文章于 2024-11-28 12:00:00 发布

all_light

最新推荐文章于 2024-11-28 12:00:00 发布

阅读量434

点赞数

分类专栏： flink 文章标签： flink 大数据

本文链接：https://blog.csdn.net/qq_37342157/article/details/110147712

版权

Flink流处理API

代码主要分为四个模块：environment， source，transform，sink

Sink

flink中对外的输出都要利用sink的完成

Kafka

object KafkaSinkTest {
  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)
    val dataStream = env.readTextFile("E:/qmlidea/flink/src/main/resources/sensor.txt")

    val dataStream2 = dataStream.filter(x => !x.isEmpty)
      .map(data => {
        val dataArray = data.split(",")
        SensorReading(dataArray(0).trim, dataArray(1).trim.toLong, dataArray(2).trim.toDouble).toString
      })

    dataStream2.addSink(new FlinkKafkaProducer[String]("192.168.0.80:9092", "qml", new SimpleStringSchema()))

    env.execute("kafka sink test")
  }
}