shell 文本分割

问题：要对一个几G，几千万行的文件进行预处理。

功能：将一个文件中记录按一定的规则分割进不同的文件。

优点：用shell脚本做文本处理真的很方便，寥寥数行，啥都搞定了，如果用其它高级语言写，指不定得写多久。

缺点：单进程单线程做文本分割，耗时可能会很长。

 

在本例中，需处理的文本记录的格式为：

fore@forest:~/work/ftr_m2_work/search/periphery/FullIndex/script$ more ./testawk.txt fileID1 userID storageID 2010-10-10 09:00 filename1 filesize fsha fileID2 userID storageID 2010-10-13 09:00 filename2 filesize fsha

 

 

代码：

#! /bin/bash # # Author : Fore # Date : 2010.10.13 # Description : divide the records of a file into different files by date. # #set -x; if [ $# -ne 1 ]; then echo "./devideByDay.sh /dataFilePath/" exit 0 fi if [ -f $1 ]; then midDir="./mid/" rm -rf $midDir mkdir -p $midDir logDir="/data/logs/ftr/fullindex/" mkdir -p $logDir logPath=$logDir"divide.log" i=0 cat $1 | while read line do echo $line | cut -d/ -f4 > tmp cat tmp | while read dateline do echo $line >> $midDir$dateline done left=`expr $i % 500` if [ $left -eq 0 ]; then echo `date ` " "$left >> $logPath fi i=`expr $i + 1` done else echo $1 " does not exist!" fi

 

输出：

fore@forest:~/work/ftr_m2_work/search/periphery/FullIndex/s -rw-r--r-- 1 fore fore 66 2010-10-13 16:42 ./mid/2010-10-10 -rw-r--r-- 1 fore fore 66 2010-10-13 16:42 ./mid/2010-10-13