String fileNameTag=".csv";
TextInputFormat format = new TextInputFormat(new Path(filePath));
Configuration configuration = new Configuration();
configuration.setBoolean("recursive.file.enumeration", true);
// 设置递归获取文件
format.configure(configuration);
format.setFilesFilter(new FilePathFilter() {
@Override
public boolean filterPath(Path filePath) {
//调用默认过滤器会过滤".", "_", "_COPYING_"三种开头的文件,一般为临时文件,没有完成写入的文件,再加上自定的过滤条件即可
return FilePathFilter.createDefaultFilter().filterPath(filePath)
||!filePath.getPath().contains(fileNameTag);
}
});
flink批处理-过滤文件名
最新推荐文章于 2024-03-19 20:25:58 发布