基本文本编辑diff,cut,grep sed,awk

######################文本处理工具awk grep sed...#########################

1.

1.diff比较两个文件的不同 diff [option] file1(旧) file2(新)

diff -u file file.new >file.path##生成补丁文件

diff -r ki1 ki2                            ##比较目录

yum install patch -y##安装打补丁工具

patch-b file file.path##给老软件打补丁，且对老软件进行备份

 

2.grep##过滤字符

-i##或略大小写

-n##显示结果所在行的行号

-c##结果个数

-v##反向过滤

-r 关键字目录##在目录中过滤含有关键字的文件

-E "关键字1|关键字2|....."##过滤多个关键字

 

3.sort##排序

-n##纯数字

-r##倒序

-u##去掉重复行

-t##指定分隔符

-k##指定排序的列

       -b             ##ignore-leading-blanks

 

 

4.tr       ##转换字符大小写

tr 'a-z' 'A-Z'<file##把file中所有小写字符转换成大写

 

5.sed   [选项]‘[动作]’ 文件名   ##控制流输出

                -i               #edit files in place直接更改文本内容  -n               #sed一般把所有的数据输出到屏幕 加此选项只会对经过sed处理的的行为输入到屏幕

                -e               #允许多条sed命令编辑

 

sed '2i xiao'  /etc/passwd       #在第2行前添加xiao

sed '2a xiao'  /etc/passwd       #在第2行后添加xiao

sed '2c xiao'  /etc/passwd       #在替换第二行为xiao

sed 3d passwd##不显示文件中的第三行

sed 3,7d file##不显示文件中的3-7行

sed 3,7p file ##重复显示文件中的3-7行

sed -n 3,7p file ##只显示文件中的3-7行

sed 's/nologin/westos/g'  /etc/passwd#替换输出中的nologin为westos

sed '1,5s/nologin/westos/g'  /etc/passwd##替换输出中1-5行的nologin为wesots

sed '/games/,/nobody/s/nologin/westos/g' passwd##替换输出中的games字符到nobody字符之间的nologin为westos

sed -e 's/nologin/westos/g' -e 's/sbin/lee/g' passwd##多条替换策略用-e连接

[root@westos mnt]# cat rule ##规则文件内容

s/nologin/westos/g

s/sbin/lee/g

[root@westos mnt]# sed -f rule  file ##使用规则文件更改输出

     1root:x:0:0:root:/root:/bin/bash

     2bin:x:1:1:bin:/bin:/lee/westos

     3daemon:x:2:2:daemon:/lee:/lee/westos

     4adm:x:3:4:adm:/var/adm:/lee/westos

 

 

 

6.cut    cut[-bn][file]或cut[-c][file] cut[-df][file]  ###cut用于 “剪切 ”文件中的文本字段或列并将其显示到标准输出

                                  -c  ##以字符为单位进行分割

                                  -d  ##指定用于提取字段的分隔符默认tab

                                  -f  ##指定要从每行提取的字段 与-d一起使用

                                  -b  ##以字节为单位进行分割 忽略多字节字符边界

                                  -n  ##取消分割多字节字符 仅与-b一起使用

 

7.awk    awk ‘{pattern + action}’  {filenames}

(1)命令行方式 awk [-F filed-separetor]  ‘commands’   input-file(s)其中command为awk真正命令  [-F域分隔符]是可选的 input-files待处理文件 默认域分隔符为空格

例 ：last -n 5 |awk ‘{print $1}’ 工作流程 : 读入有\n换行符的一条记录 然后将记录按指定的分隔符划分区域$0代表所有域$1代表第1个域...默认分隔符 空格或 tab

 

 

 cat /etc/passwd | awk 'BEGIN{FS=":"} {printf $1 "\t" $7 "\n" }'

例：cat /etc/passwd |awk -F ":" '{print $1 "\t" $7}'输出第一和第七个域

例 : cat /etc/passwd | awk -F ‘:’ ’BEGIN {print “name  shell“}  {print $1 “, “ $7}

     END{print “blue,bin/bash”}’

输出 name, shell

     root,/bin/bash

     bin , /bin/sh

      .....

     blue,bin/bash

工作流程 :先执行BEGIN然后读取文件 读如\n换行符分隔的一条记录 然后将记录按指定域说出 然后执行模式对应的action接着读第二条记录 。。直到读完所有记录 最后执行END      

           

cat /etc/passwd|awk -F ':' '$3>1024' | awk -F ':' 'BEGIN {print "name  shell"}  {print $1 "\t" $7 "\n"}'

name  shell

nfsnobody/sbin/nologin

 

 

例子: grep -Ei 'sh$|bash$|csh$' passwd | sed 's/bash/csh/g'|sort -n -t : -k 4|awk -F : '{print $1"\t" $7}'

 

root /bin/csh

kiosk /bin/csh

helon /bin/csh

 

grep -Ei 'sh$|bash$|csh$' passwd | sed 's/bash/csh/g'|sort -n -t : -k 4

root:x:0:0:root:/root:/bin/csh

kiosk:x:1000:1000:kiosk:/home/kiosk:/bin/csh

helon:x:1002:1002::/home/helon:/bin/csh

 

ifconfig br0 | sed  -n  2,5p|grep netmask|cut -d " " -f 16

 

172.25.254.255

 

7.uniq##处理重复行 输出无重复的行

-c##统计重复行的个数

-u##显示唯一的行

-d##显示重复了的行