shell分组处理大量数据并行

将一个文件每100行分解成一个散列，追加序列到 split_ 当做文件名

#分解文件，分成散列
split -l 100 aaa.csv -d -a 2 split_
#循环执行某个shell进程处理
for file in `ls split_*`
do
    FILES=${file##*/}
    #循环处理文件 后台执行
    nohup sh a1.sh $FILES &
done

a1.sh子程序处理每个文件

FILE="data/$1"
while read LINE
do
        name =`echo -e "$LINE" | awk -F"\t" '{print $1}'` > b.csv
done < $FILE