flink 学习（二）——数据的读取、转换（基本转换算子）、输出

创建执行环境

https://blog.csdn.net/qq_40180229/article/details/106335725#t0

数据读取

批处理环境中读数据返回的是DataStringSource，这个Source的父类是Dataset，所以，后续的转换、输出操作其实都是基于Dataset的，所以都是调用的Dataset的API
而流处理环境中读数据返回的是DataStringSource，这个Source的父类是DataString，所以，后续的转换、输出操作其实都是基于DataString的，所以都是调用的DataString的API

从集合读取数据

DataString< LogCluster> inputString = env.fromCollection(Arrays.aslist(new LogCluser(), new LogCluster() )) 

集合元素可以是POJO类的对象

从文件读取

数据转换（Transformer）

Flink的Transformation转换主要包括四种：单数据流基本转换、基于Key的分组转换、多数据流转换和数据重分布转换。

map()

• 调用用户定义的MapFunction对DataStream[T]数据进行处理，形成新的Data-Stream[T]，其中数据格式可能会发生变化，常用作对数据集内数据的清洗和转换。例如将输入数据集中的每个数值全部加1处理，并且将数据输出到下游数据集。map()基本是一对一服务，即输入一个元素输出一个元素。
• 也支持自定义实现MapFunction接口，编写自己的逻辑，做一些复杂的操作。【可以用lambda表达式】

interface MapFunction<T, O>
其中T为输入类型，O为输出类型

        String filePath = "/home/10313588@zte.intra/Desktop/pycharmProject/Drain/logflash/base/rawdata/vnpm_0702/1120/cf-vnpm.log.2";
        DataStream<String> inputStream = env.readTextFile(filePath);
        //1. map
        DataStream<Integer> mapStream = inputStream.map(new MapFunction<String, Integer>() {
            @Override
            public Integer map(String value) throws Exception {
                return value.length();
            }
        });

flatmap()

• 对于map()来说，实现MapFunction也只是支持一对一的转换。
  那么有时候你需要处理一个输入元素，但是要输出一个或者多个输出元素的时候，就可以用到flatMap()。
• flatMap 操作是没有返回值的，通过Collector将数据进行输出到下一个算子
• 需要自己去实现方法FlatMapFunction<in,out> 定义输入输出参数类型，重写flatMap方法，将数据通过Collector进行输出

interface FlatMapFunction<T, O>
其中T为输入类型，O为输出类型

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        DataStream<String> dataStream = env.fromElements("a,b", "c,d,e", "f,g");
        DataStream<String> dataStream1 = dataStream.flatMap(new SplitData());
        dataStream1.print();
        env.execute();
    }
    public static class SplitData implements FlatMapFunction<String, String> {
        @Override
        public void flatMap(String s, Collector<String> collector) throws Exception {
            for (String key : s.split(",")) {
                collector.collect(key);
            }
        }
    }

filter()

• 根据条件进行判断，用于满足条件的数据进行输出，不满足就过滤掉。

FilterFunction< T>
其中输入类型、输出类型均为T，因为过滤嘛

    DataStream<String> filterString = inputStream.filter(new FilterFunction<String>() {
       @Override
       public boolean filter(String value) throws Exception {
           return false; //返回false就说明这个value过滤掉
       }
   })

        DataStream<String> filterString = inputStream.filter(new FilterFunction<String>() {
            @Override
            public boolean filter(String value) throws Exception {
                return value.startsWith("Traceback");
            }
        });

keyBy()

• 在flink中，要想做聚合操作，必须先分组（keyBy）,才能聚合

数据输出

其他

• DataString.print()方法这里主要是调用collect方法，获取结果，然后挨个打印
  print(“label”)可以传一个字符串，作为这个流输出的名称