工作中碰到一个棘手的问题,小白们从公司数据库整理出一个40+G,的数据需要分析
遇到一个问题,数据太大打不开,一个4G内存的电脑想开40G的文件,想想就觉得不可能。
经过探索,发现,一个记事本文本只能打开,大概500万条的数据,可是数据大概10千万改怎么办呢?
有聪明人想到一个办法,用head tail,一分为二,然后二分四,四分八,八分16,就可以了
也有人想 买个大点的服务器看能不能打开
经过多方查证,找到一个比较简单的方法,记录下,供大家参考
linux 自带命令 split
格式为:
split -l n a smallfile
split 主命令
-l 按照行数拆分
n 为一个数字 ,即按照n条数据拆分 一般-l n 一起使用,也可以用别的方式拆分 比如按照拆分成指定文件大小 -b n
a 即要拆分的 大文件
smallfile 拆分后的小文件前面的前缀,拆出来后一般问 smallfileaa 这样的名字
所以将文件拆成500条一个小文件的命令为:
split -l 500 bigfile smallfile
搞定后查看,有没有生成就可以手工了,