场景:现有一个文件里面有大量的数据,约3.6G,4000多万行,每行的数据格式是一样的,共有9个域,如下:
3880961244329353 9 26 3862561814 2015-08-28 23:45:28 qinglei 2015-08-28 23:50:13
现在的需求是:将每一行数据按照倒数第二个域的日期来分类,相同日期的行写入相应日期的文件中,并且对文件名的日期进行处理(将”2015-08-28”修改为20150828,并以此命名文件名)
解决办法一:
刚开始没有考虑到效率的问题,只是想实现它,所以写了比较笨的方法,如下:
history_line_all_count=`cat /data0/userreport/activeprocess/activeprocess.history.log | wc -l`
echo $history_line_all_count
for((i=1;i<=$history_line_all_count;i++));
do
date=`awk