这两天还是在弄优化的东西,想弄明白combinehiveinputformat到底是如何分片的,看了源代码没看懂,看网上的某些文章说是先把文件全合并,再按blocksize来分,可实际测试起来却不像这么回事。造了大量的数据,现在试图理出256m大小的文件来,看看这个临界值附近发生什么情况。
因为要将原来的几百兆里面理出来某些文件,同时不想影响文件个数,最后使用find . -name "文件名条件" -exec mv {} 新目录名 \;来实现
这两天还是在弄优化的东西,想弄明白combinehiveinputformat到底是如何分片的,看了源代码没看懂,看网上的某些文章说是先把文件全合并,再按blocksize来分,可实际测试起来却不像这么回事。造了大量的数据,现在试图理出256m大小的文件来,看看这个临界值附近发生什么情况。
因为要将原来的几百兆里面理出来某些文件,同时不想影响文件个数,最后使用find . -name "文件名条件" -exec mv {} 新目录名 \;来实现