Flink代码初学记录

最新推荐文章于 2024-08-09 11:28:10 发布

AEsun

最新推荐文章于 2024-08-09 11:28:10 发布

阅读量562

点赞数

分类专栏：分布式学习博客文章标签： Flink 代码

本文链接：https://blog.csdn.net/AEsun/article/details/100704340

版权

分布式学习博客专栏收录该内容

5 篇文章 0 订阅

订阅专栏

Flink代码初学记录

第一次使用markdown编辑器
言归正传，Flink代码学习
总结

第一次使用markdown编辑器

哈哈哈，还挺有意思的嘛，也算一个新技能，MarkDown编辑器。

言归正传，Flink代码学习

Flink目前是非常受关注的一个分布式流式数据处理引擎，虽然使用的过程可以借助Flink提供的API，但是如果不深入地跟踪Flink的代码，出问题的时候就无从下手，更不用提优化框架了。这篇博客的目的也是记录一下自己学习Flink代码的过程。

Flink的架构和执行流程

Flink的架构是由输入通道、中间处理、输出组成的，其中的关键在于中间处理部分。将问题分解，并通过组装算子的方式，对任务进行运算。下图为Flink的架构，其中，中间部分是Flink向外提供的各种API。在这里插入图片描述

从WordCount开始

就像学C/C++、java等代码从HelloWorld开始，分布式框架的‘ HelloWorld ’就是WordCount代码。

public class SocketTextStreamWordCount {
    
    public static void main(String[] args) throws Exception {
        if (args.length != 2){
            System.err.println("USAGE:\nSocketTextStreamWordCount <hostname> <port>");
            return;
        }
        String hostName = args[0];
        Integer port = Integer.parseInt(args[1]);
        // set up the execution environment
        final StreamExecutionEnvironment env = StreamExecutionEnvironment
                .getExecutionEnvironment();

        // get input data
        DataStream<String> text = env.socketTextStream(hostName, port);
        
        text.flatMap(new LineSplitter()).setParallelism(1)
        // group by the tuple field "0" and sum up tuple field "1"
                .keyBy(0)
                .sum(1).setParallelism(1)
                .print();

        // execute program
        env.execute("Java WordCount from SocketTextStream Example");
    }
    
        /**
         * Implements the string tokenizer that splits sentences into words as a user-defined
         * FlatMapFunction. The function takes a line (String) and splits it into
         * multiple pairs in the form of "(word,1)" (Tuple2&lt;String, Integer&gt;).
         */
        public static final class LineSplitter implements FlatMapFunction<String, Tuple2<String, Integer>> {
            @Override
            public void flatMap(String value, Collector<Tuple2<String, Integer>> out) {
                // normalize and split the line
                String[] tokens = value.toLowerCase().split("\\W+");
                // emit the pairs
                for (String token : tokens) {
                    if (token.length() > 0) {
                        out.collect(new Tuple2<String, Integer>(token, 1));
                    }
                }
            }
        }
    }

这个代码还是很工整的，首先得到socket的<ip,host>，然后设置执行环境，再之后给定输入的方式，之后设置好中间处理的算子拓扑，最后execute执行运行环境。下面的override是重写flatMap函数。