linux 切文件命令 分割排序去重指令

https://blog.csdn.net/pzasdq/article/details/52830098

split kws.txt -l 1000 -d -a 2 url_&&ls|grep kws_|xargs -n1 -i{} mv {} {}.txt

 -a, --suffix-length=N
    使用的后缀的长度，默认长度为2，例如'aa','ab'等后缀，其长度就是2。上面的如果不指定4，就会报错 Output file suffixes exhausted
    -b, --bytes=SIZE
    指定每个输出文件片段的大小。
    -C, --line-bytes=SIZE
    指定每个输出文件片段的最大行字节。
    -d, --numeric-suffixes
    指定输出文件片段后缀为数字而不是默认的字母形式。
    -l, --lines=NUMBER
    指定每个输出文件片段的行数。 

history  查看历史过去的指令

cat fileName | awk -F '|' '{print $1}'|sort|uniq >> 123.txt 指定 fileName的文件分隔符 | 分割的 第一个字符串 排序去重 到123.txt文件

cat 123.txt | wc -l  计算个数