这个问题是因为表里小文件或者文件目录过多导致分片元数据超出限额。
如果是分区表可以通过限制分区数据;
另也可以通过设置参数:
mapreduce.jobtracker. split.metainfo. maxsize =100000000或者等于-1(默认值是1000000)
这个问题是因为表里小文件或者文件目录过多导致分片元数据超出限额。
如果是分区表可以通过限制分区数据;
另也可以通过设置参数:
mapreduce.jobtracker. split.metainfo. maxsize =100000000或者等于-1(默认值是1000000)