linux cut用法

linux之cut用法

cut是一个选取命令，就是将一段数据经过分析，取出我们想要的。一般来说，选取信息通常是针对“行”来进行分析的，并不是整篇信息分析的。

（1）其语法格式为：
cut  [-bn] [file] 或 cut [-c] [file]  或  cut [-df] [file]

使用说明
cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。
如果不指定 File 参数，cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一。

主要参数
-b ：以字节为单位进行分割。这些字节位置将忽略多字节字符边界，除非也指定了 -n 标志。
-c ：以字符为单位进行分割。
-d ：自定义分隔符，默认为制表符。
-f  ：与-d一起使用，指定显示哪个区域。
-n ：取消分割多字节字符。仅和 -b 标志一起使用。如果字符的最后一个字节落在由 -b 标志的 List 参数指示的<br />范围之内，该字符将被写出；否则，该字符将被排除。

（2）cut一般以什么为依据呢? 也就是说，我怎么告诉cut我想定位到的剪切内容呢?

cut命令主要是接受三个定位方法：

第一，字节（bytes），用选项-b

第二，字符（characters），用选项-c

第三，域（fields），用选项-f

实例文件内容如下:cat test.txt

RESULT=0        TIME=1406186343662      SPID=10112064   TASKID=10130283140      MDN=15021908725
RESULT=0        TIME=1406186332446      SPID=10112064   TASKID=10130283140      MDN=18502168850
RESULT=0        TIME=1406186328946      SPID=10112064   TASKID=10130283140      MDN=13564394647
RESULT=0        TIME=1406187007847      SPID=10112064   TASKID=10130283140      MDN=15026959871
RESULT=0        TIME=1406186960800      SPID=10112064   TASKID=10130283140      MDN=18621908972
RESULT=0        TIME=1406188223124      SPID=10112064   TASKID=10130283140      MDN=15900410565
RESULT=0        TIME=1406188237655      SPID=10112064   TASKID=10130283140      MDN=18621908972
RESULT=0        TIME=1406188545369      SPID=10112064   TASKID=10130283140      MDN=18621908972

(3)以字节定位

1.英文字符

cat test.txt |cut -b 1-5
RESUL
RESUL
....

2.汉字

汉字的字节大家都知道换算关系了吧,

	GBK编码下，一个汉字占2个字节；
	UTF-8编码下，一个汉字占3个字节
	UTF-8是一种国际通用的一种变长编码，ASCII对应的字符在UTF-8下占1个字符，西方文字（希腊文字）占2个字符，中文占用3个字节数，还有	平面符号占4个字节。 

cat testch.txt 
我 的 兴 趣 是
羽 毛 球 篮 球

cat testch.txt |cut -b 1-3(截取字节位置为1-3)
我
羽

cat testch.txt |cut -b 1-6
我 羽

cat testch.txt |cut -b 3-5,8(截取字节位置为3-5和第8个字节)

(4)字符定位截取

cat test.txt | cut -c 1-5
RESUL
RESUL
RESUL

cat testch.txt |cut -c 1-5
我 的 兴
羽 毛 球

(5)以区域定位

为什么会有“域”的提取呢，因为刚才提到的-b和-c只能在固定格式的文档中提取信息，而对于非固定格式的信息则束手无策。这时候“域”就派上用场了。如果你观察过/etc/passwd文件，你会发现，它并不像who的输出信息那样具有固定格式，而是比较零散的排放。但是，冒号在这个文件的每一行中都起到了非常重要的作用，冒号用来隔开每一个项。

我们很幸运，cut命令提供了这样的提取方式，具体的说就是设置“间隔符”，再设置“提取第几个域”，就OK了！

以/etc/passwd的前五行内容为例：

[rocrocket@rocrocket programming]$ cat /etc/passwd|head -n 5
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[rocrocket@rocrocket programming]$ cat /etc/passwd|head -n 5|cut -d : -f 1
root
bin
daemon
adm
lp
看到了吧，用-d来设置间隔符为冒号，然后用-f来设置我要取的是第一个域，再按回车，所有的用户名就都列出来了！呵呵 有成就感吧！
当然，在设定-f时，也可以使用例如3-5或者4-类似的格式：

[rocrocket@rocrocket programming]$ cat /etc/passwd|head -n 5|cut -d : -f 1,3-5
root:0:0:root
bin:1:1:bin

(6)如果遇到是制表符来分割怎么办? 其实cut的-d选项的默认间隔符就是制表符，所以当你就是要使用制表符的时候，完全就可以省略-d选项，而直接用－f来取域就可以了。

cat test.txt |cut -f 3-4,5
SPID=10112064   TASKID=10130283140      MDN=15021908725
SPID=10112064   TASKID=10130283140      MDN=18502168850
SPID=10112064   TASKID=10130283140      MDN=13564394647
SPID=10112064   TASKID=10130283140      MDN=15026959871
SPID=10112064   TASKID=10130283140      MDN=18621908972
SPID=10112064   TASKID=10130283140      MDN=15900410565
SPID=10112064   TASKID=10130283140      MDN=18621908972
SPID=10112064   TASKID=10130283140      MDN=18621908972

顺带说说这些数据取出来后利用排序 sort 和去重复的操作 uniq吧  

(7)去重复直接 uniq试试

cat test.txt |cut -f 3-4,5|uniq
SPID=10112064   TASKID=10130283140      MDN=15021908725
SPID=10112064   TASKID=10130283140      MDN=18502168850
SPID=10112064   TASKID=10130283140      MDN=13564394647
SPID=10112064   TASKID=10130283140      MDN=15026959871
SPID=10112064   TASKID=10130283140      MDN=18621908972
SPID=10112064   TASKID=10130283140      MDN=15900410565
SPID=10112064   TASKID=10130283140      MDN=18621908972

发现没有?MDN=18621908972这行数据明显还有重复的为什么没有去除呢?以上看出uniq去重复是去掉相邻行,那么怎么去重复呢?这时候先用sort排序下

再用uniq试试

cat test.txt |cut -f 3-4,5|sort|uniq
SPID=10112064   TASKID=10130283140      MDN=13564394647
SPID=10112064   TASKID=10130283140      MDN=15021908725
SPID=10112064   TASKID=10130283140      MDN=15026959871
SPID=10112064   TASKID=10130283140      MDN=15900410565
SPID=10112064   TASKID=10130283140      MDN=18502168850
SPID=10112064   TASKID=10130283140      MDN=18621908972

果然重复行取出来