因做一个统计,下载了一个星期的统计日志,
有2000多个文件,每一个文件里面的格式都是一样的,
得先把这些日志文件进行合并,
然后再放到hadhoop上面去运算,问题就这样产生了,
这些日志文件都放在logdeal目录下,我想用 cat/logdeal/* > merge.lst文件里面。
结果就产生了/bin/cat: Argument list too long 这个错误,google了一下,发现是cat文件数目是有多少限制了。
解决办法
用命令 find ./logdeal/ -name *.log | xargs cat > merge.lst
成功的解决了此问题, 以后要处理多个文件,还是用find这种方式来处理