sort,uniq,join,cut,paste,split-文件分类合并和分割（持续更新）

linux-shell-sort,uniq,join,cut,paste,split-文件分类合并和分割
转自[url]http://hi.baidu.com/yuhfurrudzkmuve/item/2af7801015b9bf0e8fbde4c9[/url]
sort

排序
-c 测试文件是否已经分类。
-m 合并两个分类文件。
-u 删除所有复制行。
-o 存储sort结果的输出文件名
-b 使用域进行分类时，忽略第一个空格。
-n 指定分类是域上的数字分类。
-t 域分隔符；用非空格或t a b键分隔域。
-r 对分类次序或比较求逆。
+n n为域号。使用此域号开始分类。
n n为域号。在分类比较时忽略此域，一般与+ n一起使用。
post1 传递到m，n。m为域号，n为开始分类字符数；例如4，6意即以第5域分类，从第7个字符开始

反序
sort -t: -r video.txt

去除重复行
sort -u video.txt

同时处理多个文件
cat file1 file2 file3 | sort > outfile
sort -m file1 file2 file3 > outfile


1、sort特点：当查阅注册文件或为另一用户对下载文件重排文本列时方便。

2、sort选项：
sort命令一般格式：
sort -cmu -o output_file [other options] +pos1 +pos2 input_files

sort的参数：
-c 测试文件是否已经分类。
-m 合并两个分类文件。
-u 删除所有复制行。
-o 存储sort结果的输出文件名。
-b 使用域进行分类时，忽略第一个空格。
-n 指定分类是域上的数字分类。
-t 域分隔符；用非空格或t a b键分隔域。
-r 对分类次序或比较求逆。
+n n为域号。使用此域号开始分类。
n n为域号。在分类比较时忽略此域，一般与+n一起使用。
post1 传递到m，n。m为域号，n为开始分类字符数；

3、保存输出
1）-o选项保存分类结果
2）重定向方法

4、sort启动方式
sort执行时，先查看是否为域分隔设置了-t选项，如果设置了，则使用它来将记录分隔成域0、域1等等；
如果未设置，用空格代替。缺省时sort将整个行排序.

5、sort对域的参照方式
注意：这里说的域和前面AWK一样是列的意思。
注意：第一个域作为域0，域1是第二个域

6、文件是否已分类
使用sort -c filename 查看

7、sort分类求逆
逆向sort结果，使用- r选项

8、按指定域分类
$sort -t: t1 video.txt
按第2域进行分类。

9、数值域分类
用- n选项
$sot -t: t3n video.txt
注意：数值域（即是数字格式的），即为数值分类

10、唯一性分类
- u选项进行唯一性
$sot -u video.txt

11、使用k的其他sort方法
其他选项也可以使用k，主要用于指定分类域开始的字符数目
$sort -t: -k4 video.txt
使用k做分类键排序
先以第4域，再以第1域分类，命令为-k4 -k1，
$sort -t: -r -k4 -k1 video.txt

12、指定sort序列
sort +0 -2 +3
该命令意即开始以域0分类，忽略域2，然后再使用域3分

13、pos用法
指定开始分类的域位置，另外一种方法：
sort +field_number .characters_in
意即从ield_number开始分类，但是要在此域的第characters_in个字符开始。
$sort -t: +1.2 video.txt
+1.2，意即以第1域最左边第3个字符开始分类.

14、使用head和tail将输出分类
显示部分结果的作用
$sort -t: -r -K4 video.txt | head -1
只显示一行。
$sort -t: -r -K4 video.txt | tail -1
只显示最后一行。
使用head或tail时想省略显示行数，缺省时显示10行
$head -20 filename
显示前20行。
$tail -6 filname
显示后6行。

15、awk使用sort输出结果
可以为输出的结果加上一些头和尾等信息。

16、将两个分类文件合并
格式：sort -m sorted_file1 sorted_file2
使用-m +o。将这个文件并入已存在的分类文件

17、系统sort
sort可以用来对/etc/passwd文件中用户名进行分类
以第1域即注册用户名分类，然后管道输出结果到awk，awk打印第一域。
$sort /etc/passwd | sort -t: +0 | awk -F":" '{print $1}'

用于d f命令，以递减顺序打印使用列
$df | sort -b -r +4
用- b选项，忽略分类域前面的空格
域4（+ 4），即容量列将分类求逆

排序IP，分隔点是.
$sort -t. +3n iplist


uniq

uniq用来从一个文本文件中去除或禁止重复行
uniq里意即持续不断重复出现的行，中间不夹杂任何其他文本
注意：和前面的sort -u 不同。

格式：
uniq [选项] inputfile outputfile

选项：
-u 只显示不重复行。
-d 只显示有重复数据行，每种重复行只显示其中一行
-c 打印每一重复行出现次数。
-f n为数字，前n个域被忽略。
一些系统不识别- f选项，这时替代使用- n。


join

(类似SQL中的Join)
join用来将来自两个分类文本文件的行连在一起

格式：
join [optinos] inputfile1 inputfile2

an n 为一数字，用于连接时从文件n中显示不匹配行。
o n.m n为文件号，m为域号。1. 3表示只显示文件1第三域，每个n，m必须用逗号分隔，如1 . 3，2 . 1。
j n m n为文件号，m为域号。使用其他域做连接域。
t 域分隔符。用来设置非空格或t a b键的域分隔符。

1) 不匹配连接
$join -a1 file1 file2

2)选择性连接
使用- o选项选择连接域
$join -o 1.1,2.2 file1 file2

使用-jn m进行其他域连接，例如用文件1域3和文件域2做连接键
join -j1 3 -j2 2 file1 file2


cut

cut用来从标准输入或文本文件中剪切列或域，剪切文本可以将之粘贴到一个文本文件。

cut一般格式为：
cut [options] file1 file2

可用选项：
-c list 指定剪切字符数。
-f field 指定剪切域数。
-d 指定与空格和tab键不同的域分隔符。
-c 用来指定剪切范围，如下所示：-c1，5-7 剪切第1个字符，然后是第5到第7个字符。
-f 格式与- c相同，剪的是域。即列
-f 1，5 剪切第1域，第5域。
-f 1,10-12 剪切第1域，第1 0域到第1 2域。

1)使用域分隔符
$cut -d: -f3 file

2)剪切指定域
从文件/etc/passwd中剪切注册名及缺省根目录，需抽取域1和域6：
$cut -d: -f1,6 /etc/passwd


paste

粘贴

paste -d -s -file1 file2
-d 指定不同于空格或t a b键的域分隔符。例如用@分隔域，使用- d @。
-s 将每个文件合并成行而不是按行粘贴。
- 使用标准输入。例如ls -l |paste ，意即只在一列上显示输出

paste可以将这些数据粘贴起来形成相关文件
粘贴两个不同来源的数据时，首先需将其分类，并确保两个文件行数相同。
缺省情况下， paste连接时，用空格或tab键分隔新行中不同文本，除非指定- d选项

paste格式为；
paste -d -s -file1 file2

选项含义如下：
-d 指定不同于空格或t a b键的域分隔符。例如用@分隔域，使用- d @。
-s 将每个文件合并成行而不是按行粘贴。
- 使用标准输入。例如ls -l |paste ，意即只在一列上显示输出。

1）指定列
通过交换文件名即可指定哪一列先粘

2)paste命令管道输入
以一个4列格式显示目录列表,使用空格作域分隔符
$ls /etc | paste -d" " - - - -

3)要合并两行，而不是按行粘贴，可以使用- s选项


split

分割
split -output_file-size input-filename output-filename

split用来将大文件分割成小文件
s p l i t命令一般格式：
split -output_file-size input-filename output-filename
-output_file-size指的是文本文件被分割的行数
最多1000行分割
每个文件格式为x [aa]到x[zz]，x为文件名首字母[可以自己定]， [aa]、[zz]为文件名剩余部分顺序字符组合。
后面是按aa ab ac 这样的顺序来的。


head,tail

头 10 行发送至标准输出
尾 10 行发送至标准输出


tac

逆序排序文件
tac 由 cat 逆序拼写而成

ls -l |tail | tac