linux 使用shell脚本实现对大文件的去重排序 ——使用分割文件方法
对有序的大文件的去重排序,首先确定文件大小,分割比例,直接上代码:#!/bin/bash#号是注释#文件名称,改为自己的实际文件路径#文件内容每行都类似 2ff9a2acc|8.0.0.168|Anc|6.1x64|2052|2018-01-25split_file_name=logon.txt#去掉空格统计文件行数lines=`wc -l $split_file_nam...
原创
2019-04-10 16:20:23 ·
829 阅读 ·
0 评论