对G级别文件的简易排序思路

              最近在处理数据的时候,遇到了2G多文件(文本文件)排序问题,刚开始试图通
过现有的文本编辑软件(UE)进行排序,但文件太大,总是报错。

              然后想到了Linux中的sort命令,刚开始想先用split命令对文件进行分割,然

后合并。不过,经过试验,sort命令2G的文件直接OK。

              sort -n example.txt

              对example.txt进行排序,-n选项是按数字序。

               

              当文件很大时,就先分割,分别排序,再合并排序(shell思路):

split -l $lines $1 part_
for file in part_*
do
{
sort $file > sort_$file
 }&
done
wait
sort -m sort_* > $2   #没有去重,直接合并多个已排序文件
$1,$2是shell运行时的参数,$1是inputfile,$2是outputfile.



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值