日常问题系列——使用parquet-hadoop-1.8.1.jar提供的parquet文件合并,出现too many open files错误
背景说明利用apache parquet-mr项目提供的parquet合并接口,完成hdfs上parquet文件的合并,从而减少hdfs上的小文件,减少文件元数据占据namenode的内存。问题描述现场环境上线parquet文件合并算子,运行一段时间后,日志中出现too many open files。利用lsof -p 进程号|wc -l命令来查看进程打开的文件句柄数,发现已经接近系统设置...
原创
2019-05-01 19:58:40 ·
1282 阅读 ·
0 评论