16.flink 自定义KeySelector

概要：KeySelector<T, K> 网上的demo多不胜数，但是对于java来说大部分的测试案例都是用的Tuple,
比如：DataSet<Tuple<String,Integer>> datastream;
假如此时我想对这个流中的数据的第一个字段排序，可以这么写:datastream.groupBy(0)。
但是如果我流数据是这样：DataSet datastream，此时如果还像datastream.groupBy(0)这样写会报错的， 因为groupBy(int num)这种写法只在Tuple中才适用，那么该怎么办呢，看下面的demo即可。

1. 定义product对象

自定义对象的时候要注意符合flink的规范，否则有可能你定义的对象是无法序列化的，如果无法序列化也就意味着无法在网络上传输，如果不知道flink的序列化规范请参看：flink序列化规范

public class Prodect{
    private String name;//产品名称
    private Integer count;//产品销售数量
    private Double price;//产品的价格

    public Prodect(String name, Integer count, Double price) {
        this.name = name;
        this.count = count;
        this.price = price;
    }

    public Prodect() {
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public Integer getCount() {
        return count;
    }

    public void setCount(Integer count) {
        this.count = count;
    }

    public Double getPrice() {
        return price;
    }

    public void setPrice(Double price) {
        this.price = price;
    }

    @Override
    public String toString() {
        return "Prodect{" +
                "name='" + name + '\'' +
                ", count=" + count +
                ", price=" + price +
                '}';
    }
}

2.对product进行分组输出

2.1 第一种写法：

import com.pg.flink.dataSet.enty.Prodect;
import org.apache.flink.api.common.functions.GroupReduceFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.util.Collector;
import java.util.ArrayList;
public class KeySelectorDemo {
    public static void main(String[] args) throws Exception {
        final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

        DataSet<Prodect> dataSet =  env.fromElements(
                new Prodect("鸡蛋",1,2.1),
                new Prodect("鸡蛋",3,2.3),
                new Prodect("鸡蛋",2,2.2),
                new Prodect("牛奶",1,2.6),
                new Prodect("牛奶",2,2.9),
                new Prodect("牛奶",3,2.8)
        );
        dataSet.groupBy(Prodect::getName).reduceGroup(new GroupReduceFunction<Prodect, String>() {
            @Override
            public void reduce(Iterable<Prodect> values, Collector<String> out) throws Exception {
                ArrayList<String> lis = new ArrayList<>();
                for(Prodect p:values){
                    lis.add(p.toString());
                }
                out.collect(String.join("&",lis));
            }
        }).print();

    }
}

2.2第二种写法

public class KeySelectorDemo {
    public static void main(String[] args) throws Exception {
        final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
        DataSet<Prodect> dataSet =  env.fromElements(
                new Prodect("鸡蛋",1,2.1),
                new Prodect("鸡蛋",3,2.3),
                new Prodect("鸡蛋",2,2.2),
                new Prodect("牛奶",1,2.6),
                new Prodect("牛奶",2,2.9),
                new Prodect("牛奶",3,2.8)
        );
        dataSet.groupBy("name").reduceGroup(new GroupReduceFunction<Prodect, String>() {
            @Override
            public void reduce(Iterable<Prodect> values, Collector<String> out) throws Exception {
                ArrayList<String> lis = new ArrayList<>();
                for(Prodect p:values){
                    lis.add(p.toString());
                }
                out.collect(String.join("&",lis));
            }
        }).print();
    }
}

2.3 第三种写法

public class KeySelectorDemo {
    public static void main(String[] args) throws Exception {
        final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
        DataSet<Prodect> dataSet =  env.fromElements(
                new Prodect("鸡蛋",1,2.1),
                new Prodect("鸡蛋",3,2.3),
                new Prodect("鸡蛋",2,2.2),
                new Prodect("牛奶",1,2.6),
                new Prodect("牛奶",2,2.9),
                new Prodect("牛奶",3,2.8)

        );
        dataSet.groupBy(new KeySelector<Prodect, String>() {
            @Override
            public String getKey(Prodect value) throws Exception {
                return value.getName();
            }
        }).reduceGroup(new GroupReduceFunction<Prodect, String>() {
            @Override
            public void reduce(Iterable<Prodect> values, Collector<String> out) throws Exception {
                ArrayList<String> lis = new ArrayList<>();
                for(Prodect p:values){
                    lis.add(p.toString());
                }
                out.collect(String.join("&",lis));
            }
        }).print();
    }
}

输出：Prodect{name=‘鸡蛋’, count=1, price=2.1}&Prodect{name=‘鸡蛋’, count=3, price=2.3}&Prodect{name=‘鸡蛋’, count=2, price=2.2}
Prodect{name=‘牛奶’, count=1, price=2.6}&Prodect{name=‘牛奶’, count=2, price=2.9}&Prodect{name=‘牛奶’, count=3, price=2.8}

3.总结

上面三种写法其实底层都是一样的，都是要取出流对象对应字段的值做hash分组。

1. dataSet.groupBy(Prodect::getName)
   获取流对象name字段的值，作hash分组
   方法引用，见[java方法引用]，方法引就是假如ClassA有一个方法method(int age)，此方法的参数和返回值类型都是int,而ClassB此时也需要一个参数类型是int返回值类型也是int的方法，那么本着省事的思想，Class B可以直接把ClassA的method(int age)拿来用， 这就是方法引用，具体细节详情还要看：java双"::"符号讲解
2. dataSet.groupBy(“name”)
   意思是根据流数据中元素中字段名字为"name"的字段，然后把字段name对应的值取出来作hash分组。
3. groupBy(KeySelector<T, K> keyExtractor) {}
   传入一个keySelector取值器， 根据取值器取出来的值进行分区，KeySelector接口其实就一个方法： KEY getKey(IN value) throws Exception;
   IN 是数据流中的元素类型，在我们的例子里就是Product, KEY是根据value返回的值的类型。

其实第一种写法就是第三种写法.java双"::"符号讲解:添加链接描述