Flink:recursive.file.enumeration读hdfs超时无法提submit job问题

背景:使用flink批作业 读取存在hdfs上的日志 需要迭代读取目录下所有文件的内容
使用的方法:


        Configuration conf = new Configuration();
        conf.setBoolean("recursive.file.enumeration", true);
        DataSet<String> in = env.readTextFile(urlWithDate).withParameters(conf);

但是由于日志数量比较大 出现akka链接超时问题
无法正常提交job
相关社区issue:
https://issues.apache.org/jira/browse/FLINK-3964
后来改用如下方法读取日志,成功解决:

        FileInputFormat fileInputFormat = new TextInputFormat(new Path(urlWithDate));
        fileInputFormat.setNestedFileEnumeration(true);
        DataSet<String> dataSet = env.readFile(fileInputFormat, urlWithDate);

相关mail-list参考:
http://mail-archives.apache.org/mod_mbox/flink-user/201701.mbox/<EB73D7A7-AB16-464F-BE0D-CBFBB1EEF3EA@data-artisans.com>

  • 3
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值