Shell命令学习笔记

Shell命令学习笔记

  1. tr 替换字符

  简单示例： tr 'A' 'a' < file.txt

  把每一个A字符替换为a字符。tr命令只能用于单个字符的替换，如果写成：

  tr 'ABC' 'abc' < file.txt

  则表示分别把A，B，C字符替换为a,b,c，而不是把字符串ABC替换为abc，字符串的替换需要用到sed命令，稍候会有介绍。

  2. grep 字符串查找

  简单示例 ：grep world file.txt

  在输入文件或这标准输入中查找含有匹配字符串（此处是world）的行，并显示改行。

  用grep处理后的结果往往会成为后续处理的输入，所以可以用管道进行连接：

  grep world file.txt | wc -l

   wc -l表示统计行数，上述命令表示统计file.txt文件中含有world字符串的行数。

  上述命令等于 grep -c world file.txt

  匹配多个条件，条件之间为或关系：

  grep 'a\|b' file.txt

  查找file.txt文件中所有含有a或者b的行

  如果需要显示不匹配模式的行，则只需要加-v 选项。

  3. sed(Stream Editor)，流编辑器，一般用于执行文本替换。

  Sed是以批处理而不是交互的方式来编辑文件，sed并不会修改源文件，只会把修改的结果发送到标准输出或者写入另外一个文件。

  简单示例：sed 's/world/hadoop/' < file.txt

  把每行中的第一个world替换成hadoop。

  命令中引号内开头的s表示要执行替换，sed的用途很多，但是一般用于文本替换。

  主要选项：

  -e 当需要有多个不同的替换时，每个替换命令必须以-e开头：sed -e 's/world/hadoop/' -e 's/hello/hallo/' < file.txt

  -f 当命令比较复杂时，可以把sed命令写入一个脚本文件（文件中的命令不要加单引号），然后执行sed命令时只需用-f指向该脚本文件即可：sed -f sed.txt < file.txt

  -n 默认sed会把源文件的修改结果发送到标准输出（无论是否经过替换，都会发送），选项-n关闭该功能。-n一般和p组合使用，表示只打印替换过的行，其余的行不打印:sed -n 's/world/hadoop/p' < file.txt

  sed命令除了可以以p结尾之外，还可以以g结尾: sed 's/world/hadoop/g'，表示全局替换，亦即对每行中所有匹配的文本进行替换，而不是仅仅替换第一个。

  sed命令以数字结尾表示替换每行的第n个匹配字符串: sed 's/world/hadoop/2'

  应用：

  删除文本中所有空行：sed '/^$/d' file.txt

 4. cut 选定字段

  cut用来剪下文本文件里指定的字段，字段是指以定界符分隔的字符串，常见的分隔符有空格，制表符以及冒号。

  简单示例:

  cut -d : -f 1,5 /etc/passwd

  剪取/etc/passwd文件的第1，5个字段（字段从1而不是0开始标号），定界符为冒号。

  cut -f 1-5 file

  剪取第一到第五个字段

  cut -f 1- file

  剪取第一个到最后一个字段

  5. sort  排序工具

  sort将输入的每行看做一条记录，每条记录由多个字段组成，字段间以空白字符为间隔。

  简单示例：

  sort -t: -k1,1 /etc/passwd

  以:为间隔符，以第一个字段为排序字段对文件中的记录进行排序

  可以制定排序键值字段的类型，比如：

  sort -t: -k1,1nr /etc/passwd

  n是指把排序字段当做数值而不是字符串进行比较，如果指定了n，则2排在10前面，否则10排在2前面。

  r是指逆序

  其他常用的的排序键值字段类型为：

  b 忽略开头的空白

  f 不区分大小写

  另外，如果k后只写了一个数字，比如-k2，则意味着排序键值为第二个字段及其以后的所有字段，而不仅仅是第二个字段，如果只想用第二个字段作为排序键值，则应该使用-k2,2。

  当出现多个-k选项时，意味着首先用第一个k选项指定的键值进行排序，然后对第一个键值相同的一组记录使用第二个键值排序，以此类推。

  最后，sort的排序是不稳定的。

  6. wc WordCount工具

  wc用来进行计数：

  wc -c file.txt 统计字节数

  wc -w file.txt 统计单词数

  wc -l file.txt 统计行数

  如果不指定任何选项，则是依次输出行数，单词数，字节数。

  7. head tail  取得文件开头或者结尾数行

  head -n file.txt 输出文件的前n行

  tail -n file.txt  输出文件的后n行

  tail -n -f file.txt  输出文件的后n行，在文件有新的数据加入时显示新的数据(对查看log文件非常有用)

  8. Uniq 删除重复

  用例子说明，设文件file.txt内容为：

a 1

b 1

c 2

d 2

e 3

  则执行uniq -f 1 file.txt的结果为

a 1

c 2

e 3

   执行uniq -u -f 1 file.txt的结果为

   e 3

  9. split 切分文件

  split -l 100 file.txt 把文件file.txt按照100行为单位切分成数个文件，切分后的文件命名为xaa,xab,...

  split -b 200k file.txt 把文件file.txt按照200KB为单位进行切分，切分后的文件命名为xaa,xab,...

  参考文献：

[1] Shell脚本学习指南