flink实战--flink读取hdfs目录下多个文件（递归、正则匹配）

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

简介

                  在日常开发中读取hdfs文件是很频繁的操作，并且在这个过程中我们可能会有如下需求：

1.   读取某个目录下的所有的文件，也就是递归读取hdfs的目录
2.   按条件读取hdfs，也就是正则表达式读取目录下的文件

                看到这些需求，我们可能想到spark都支持的不错，Flink支持的怎么样呢？本篇文章详细介绍一下Flink如何实现，递归，正则表达式等方式读取hdfs的目录。

Flink递归读取hdfs上多路径文件

               比如，读取如下面所示data目录下日期命名的文件夹，如果直接使用env.readTextFile("//127.0.0.1:9000/data/")，是获取不到数据的，因为Flink默认情况下不递归读取多目录文件。而是只读取基本目录中的文件，而忽略嵌套文件。可以通过recursive.file.enumeration</