java Flink（三十一）Flink分布式缓存

什么是Flink的分布式缓存?

　Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。
  此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。
  当程序执行，Flink自动将文件或者目录复制到所有taskmanager节点的本地文件系统，仅会执行一次。用户可以通过这个指定的名称查找文件或者目录，然后从taskmanager节点的本地文件系统访问它。

  从上下文中就可以使用我们注册的文件。

代码：

  文件内容：

  

 

import org.apache.commons.io.FileUtils;
import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

import java.io.File;
import java.util.ArrayList;
import java.util.List;

/**
 * flink 分布式缓存
 */
public class DistributedCache {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        //将文件注册到上下文，第一个参数是文件地址，第二个是名称
        env.registerCachedFile("D:\\idle\\FlinkPrepared\\DistributedCache\\src\\main\\resources\\test.txt", "test");
        //模拟数据
        final DataStream<String> data = env.fromElements("a", "b", "c");

        DataStream<String> resultStream = data.map(new RichMapFunction<String, String>() {
            private ArrayList<String> dataList = new ArrayList<String>();

            @Override
            public void open(Configuration parameters) throws Exception {
                super.open(parameters);
                //使用文件
                File file = getRuntimeContext().getDistributedCache().getFile("test");
                List<String> lines = FileUtils. readLines(file);
                for (String line : lines) {
                    this.dataList.add(line);
                    System.out.println("分布式缓存为:" + line);
                }
            }

            public String map(String s) throws Exception {
                System.out.println(dataList + ":" + s);
                return s;
            }
        });

        resultStream.print();
        env.execute();

    }

}

    结果：