Flink原理，实战与性能优化读书笔记(二)

最新推荐文章于 2024-12-22 06:00:00 发布

小凯Alex

最新推荐文章于 2024-12-22 06:00:00 发布

阅读量1.6k

点赞数

文章标签： flink 大数据

本文链接：https://blog.csdn.net/weixin_38499215/article/details/99188385

版权

本文介绍了Flink DataStream API中的物理分区操作，包括随机分区、平衡分区、按比例分区和广播操作，强调了各策略在数据平衡和性能优化中的应用，并展示了自定义分区的实现代码示例。

摘要由CSDN通过智能技术生成

第四章 DataStream API 介绍与使用

DataSource

  def main(args:Array[String]): Unit ={
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    //1.内置数据源
    val textStream = env.readTextFile("/home/graviti/下载/flink-training-exercises-master/NOTICE.txt")
    //2.socket
    val socketStream = env.socketTextStream("localhost",9000)
    //3.集合数据源
    val dataStream = env.fromElements(Tuple2(1L,3L),Tuple2(1L,2L),Tuple2(1L,4l))
    //4.Kafka
    val properties = new Properties()
    properties.setProperty("bootstrap.servers", "master:9092")
    properties.setProperty("zookeeper.connect", "master:2181")
    val schema = new SimpleStringSchema();
    val consumer = new FlinkKafkaConsumer010[String]("video-stream-event",schema,properties)
    val stream = env.addSource(consumer)
    stream.setParallelism(4).print()
    env.execute("kafkaConsumer