Linux文件处理常用命令总结

Linux文件处理常用命令总结

说明：本文中语法及参数说明多转载自菜鸟教程

sort

Linux sort命令用于将文本内容加以排序，以行为单位来排序。

语法

sort [-bcdfimMnr][-o<输出文件>][-t<分隔字符>][+<起始栏位>-<结束栏位>][--help][--verison][文件]

参数说明

• -b 忽略每行前面开始出的空格字符。
• -c 检查文件是否已经按照顺序排序。
• -d 排序时，处理英文字母、数字及空格字符外，忽略其他的字符。
• -f 排序时，将小写字母视为大写字母。
• -i 排序时，除了040至176之间的ASCII字符外，忽略其他的字符。
• -k 排序时，指定字段为排序的键，如-k1，表示用第一个字段
• -m 将几个排序好的文件进行合并。
• -M 将前面3个字母依照月份的缩写进行排序。
• -n 依照数值的大小排序。
• -u 意味着是唯一的(unique)，输出的结果是去完重了的。
• -o<输出文件> 将排序后的结果存入指定的文件。
• -r 以相反的顺序来排序。
• -t<分隔字符> 指定排序时所用的栏位分隔字符。
• +<起始栏位>-<结束栏位> 以指定的栏位来排序，范围由起始栏位到结束栏位的前一栏位，从0开始。
• –help 显示帮助。
• –version 显示版本信息。

实例

sort -t: -nk5 -r databook      # 以第五个字段数值降序进行排序
sort -t: -n +4 -r databook     # 下标为4 的区域

cut

Linux cut命令用于列截取文件。

语法

cut  [-bn] [file]
cut [-c] [file]
cut [-df] [file]

参数

• -b ：以字节为单位进行分割。这些字节位置将忽略多字节字符边界，除非也指定了 -n 标志。
• -c ：以字符为单位进行分割。
• -d ：自定义分隔符，默认为制表符。
• -f ：与-d一起使用，指定显示哪个区域。
• -n ：取消分割多字节字符。仅和 -b 标志一起使用。如果字符的最后一个字节落在由 -b 标志的 List 参数指示的
  范围之内，该字符将被写出；否则，该字符将被排除。

实例

cut -d: -f1,5 databook # Display name and salary in the databook.

grep

LInux grep命令用于查找文件里符合条件的字符串，常与正则表达式搭配使用。

语法

grep [-abcEFGhHilLnqrsvVwxy][-A<显示行数>][-B<显示列数>][-C<显示列数>][-d<进行动作>][-e<范本样式>][-f<范本文件>][--help][范本样式][文件或目录...]

常用参数

• -a 或 --text : 不要忽略二进制的数据。
• -A<显示行数> 或 --after-context=<显示行数> : 除了显示符合范本样式的那一列之外，并显示该行之后的内容。
• -b 或 --byte-offset : 在显示符合样式的那一行之前，标示出该行第一个字符的编号。
• -B<显示行数> 或 --before-context=<显示行数> : 除了显示符合样式的那一行之外，并显示该行之前的内容。
• -c 或 --count : 计算符合样式的列数。
• -C<显示行数> 或 --context=<显示行数>或-<显示行数> : 除了显示符合样式的那一行之外，并显示该行之前后的内容。
• -d <动作> 或 --directories=<动作> : 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep指令将回报信息并停止动作。
• -e<范本样式> 或 --regexp=<范本样式> : 指定字符串做为查找文件内容的样式。
• -E 或 --extended-regexp : 将样式为延伸的正则表达式来使用。
• -f<规则文件> 或 --file=<规则文件> : 指定规则文件，其内容含有一个或多个规则样式，让grep查找符合规则条件的文件内容，格式为每行一个规则样式。
• -F 或 --fixed-regexp : 将样式视为固定字符串的列表。
• -G 或 --basic-regexp : 将样式视为普通的表示法来使用。
• -h 或 --no-filename : 在显示符合样式的那一行之前，不标示该行所属的文件名称。
• -H 或 --with-filename : 在显示符合样式的那一行之前，表示该行所属的文件名称。
• -i 或 --ignore-case : 忽略字符大小写的差别。
• -l 或 --file-with-matches : 列出文件内容符合指定的样式的文件名称。
• -L 或 --files-without-match : 列出文件内容不符合指定的样式的文件名称。
• -n 或 --line-number : 在显示符合样式的那一行之前，标示出该行的列数编号。
• -o 或 --only-matching : 只显示匹配PATTERN 部分。
• -q 或 --quiet或–silent : 不显示任何信息。
• -r 或 --recursive : 此参数的效果和指定"-d recurse"参数相同。
• -s 或 --no-messages : 不显示错误信息。
• -v 或 --invert-match : 显示不包含匹配文本的所有行。
• -V 或 --version : 显示版本信息。
• -w 或 --word-regexp : 只显示全字符合的列。
• -x --line-regexp : 只显示全列符合的列。
• -y : 此参数的效果和指定"-i"参数相同。

范例

录入一些有关wisdom的名言在wisdom文件中

可以看到莎翁的有很多，我们把它们找出来：

grep -i 'shakespeare' wisdom

找出不含wisdom这个词的句子，列出行号：

grep -nvi 'wisdom' wisdom

sed

Linux sed命令是利用脚本来处理文本文件，可依照脚本的指令来处理、编辑文本文件，主要用来自动编辑一个或多个文件以简化对文件的反复操作、编写转换程序等。

语法

sed [-hnV][-e<script>][-f<script文件>][文本文件]

参数说明

• -e 以选项中指定的script来处理输入的文本文件。
• -f<script文件>或–file=<script文件> 以选项中指定的script文件来处理输入的文本文件。
• -h或–help 显示帮助。
• -n或–quiet或–silent 仅显示script处理后的结果。
• -V或–version 显示版本信息。

动作说明

• a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
• c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
• d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
• i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
• p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
• s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！

范例：

删除一至三行：sed '1,3d' filename

打印五至十行：sed -n '5,10' filename

单个字符串s1替换为s2：sed 's/s1/s2/' filename

包含指定字符串string的行整行替换为"NO FOUND 404"：

sed 'string/c NO FOUND 404/' filename

或者 ：sed 's/.*string.*/NO FOUND 404/' filename

或者：sed '/string/s/.*/NO FOUND 404/'

注意：

sed 范式中的分隔符可以不为"/"，在需要匹配的字符串中有"/“时可以采用其他字符，如”?"以避免频繁地使用转义字符。

awk

AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。

之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。

语法

awk [选项参数] 'script' var=value file(s)
或
awk [选项参数] -f scriptfile var=value file(s)

选项参数说明

• -F fs or --field-separator fs
  指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。
• -v var=value or --asign var=value
  赋值一个用户定义变量。
• -f scripfile or --file scriptfile
  从脚本文件中读取awk命令。
• -mf nnn and -mr nnn
  对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。
• -W compact or --compat, -W traditional or --traditional
  在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。
• -W copyleft or --copyleft, -W copyright or --copyright
  打印简短的版权信息。
• -W help or --help, -W usage or --usage
  打印全部awk选项和每个选项的简短说明。
• -W lint or --lint
  打印不能向传统unix平台移植的结构的警告。
• -W lint-old or --lint-old
  打印关于不能向传统unix平台移植的结构的警告。
• -W posix
  打开兼容模式。但有以下限制，不识别：/x、函数关键字、func、换码序列以及当fs是一个空格时，将新行作为一个域分隔符；操作符和=不能代替^和=；fflush无效。
• -W re-interval or --re-inerval
  允许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式[[:alpha:]]。
• -W source program-text or --source program-text
  使用program-text作为源代码，可与-f命令混用。
• -W version or --version
  打印bug报告信息的版本

常用内置变量

• FS：输入字段分隔符， 默认为空白字符

• OFS：输出字段分隔符， 默认为空白字符

• RS：输入记录分隔符(输入换行符)， 指定输入时的换行符

• ORS：输出记录分隔符（输出换行符），输出时用指定符号代替换行符

• NF：number of Field，当前行的字段的个数(即当前行被分割成了几列)，字段数量

• NR：行号，当前处理的文本行的行号

• FNR：各文件分别计数的行号

• FILENAME：当前文件名

• ARGC：命令行参数的个数

• ARGV：数组，保存的是命令行所给定的各参数

范例

指定分隔符为冒号或空格，打印三至五行同时加行号：awk -F'[: ]+' '{if(NR>=3 || NR<=5)print NR,$0} filename'

wisdom文件中author为proverb的句子：awk -F'--' '$2~/Proverb/{print $0}' wisdom

贴一张正则元字符

贴一个大佬的博客：Linux三剑客之awk命令

删除空白行

只删除纯空行:

grep -v '^$' filename 
sed '/^$/d' filename
sed -n '/./p' filename
sed '/^\s*$/d' filename
awk '/./{print}' filename
awk '{if($0 != " ") print}' filename

删除纯空行和由空格组成的空行:

sed '/^[  ]*$/d' filename

总结

必须熟练掌握三剑客相关的参数和变量的使用，最好能用管道 |、shell脚本编程和重定向的来充分提高对文件进行操作的效率，下面示范一个对wisdom文件的格式翻新操作。

命令如下：

 cat wisdom | 
 while read line 
 do  
     author=`echo $line | cut -d- -f3`
     saying=`echo $line | cut -d- -f1`
     echo "$author said: $saying"
 done

结果如下：