将大文件切成能够打开的小文件--split 命令

工作中碰到一个棘手的问题,小白们从公司数据库整理出一个40+G,的数据需要分析

遇到一个问题,数据太大打不开,一个4G内存的电脑想开40G的文件,想想就觉得不可能。

经过探索,发现,一个记事本文本只能打开,大概500万条的数据,可是数据大概10千万改怎么办呢? 

有聪明人想到一个办法,用head tail,一分为二,然后二分四,四分八,八分16,就可以了

也有人想 买个大点的服务器看能不能打开

经过多方查证,找到一个比较简单的方法,记录下,供大家参考

linux 自带命令 split

格式为:

split -l n  a   smallfile

split 主命令

-l 按照行数拆分

n 为一个数字 ,即按照n条数据拆分  一般-l n 一起使用,也可以用别的方式拆分 比如按照拆分成指定文件大小 -b n

a 即要拆分的 大文件

smallfile 拆分后的小文件前面的前缀,拆出来后一般问 smallfileaa 这样的名字

所以将文件拆成500条一个小文件的命令为:

split -l 500 bigfile smallfile

搞定后查看,有没有生成就可以手工了,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值