Linux高级命令

1. grep

grep [参数] '匹配关键字' fileName

     -c:count

     -e:多个连续命令,即正则表达式方式

     -E:extend

     -i:ingore

     -n:number

     -r:recursive

     -v:反转，即命中的不显示，没有命中显示出来

2. sed 
sed是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为 “模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。sed主要用来自动编辑一个或多个文件，简化对文件的反复操作；
1. 命令格式
    sed    [参数]    [动作]
2. 使用参数
    -n:使用安静模式。在一般 sed 的用法中,所有来自stdin的数据一般都会被列出到终端上。但如果加上 -n 参数后,则只有经过sed特殊处理的那一行或者动作.才会被列出来。
    -e:直接在命令列模式上进行 sed 的动作编辑。
    -f:直接将 sed 的动作写在一个文件内,-f file 则可以运行 file内的 sed 动作。
    -r:sed 动作支持的是延伸型正则表达式的语法。
    -i:直接修改读取的文件内容,而不是输出到终端。
3. 动作
    [n1[,n2]] function
    n1,n2:不见得会存在,一般代表[选择进行动作的行数],举例来说,如果我的动作是需要在10到20行之间进行的,则[10,20[动作行为]]
    function:
        a:新增,a的后面可以接字符串,而这些字符串会在新的一行出现目前的下一行.
        c:取代,c的后面可以接字符串,这些字符串可以取代n1,n2之间的行
        d:删除,d后面通常不接任何字符串
        i:插入,i的后面可以接字符串,而这些字符串会在新的一行出现目前的上一行.
        p:将某个选择的数据印出。通常p会与参数 sed -n 一起运行
        s:取代,可以直接进行取代的工作。通常这个s的动作可以搭配正则表达式。例如:1,20s/old/new/g
4. 使用示例
    ********以"行"为单位的新增/删除********
    <1> 将/etc/passwd的内容列出并且打印出行号,同时,请将第2-5行删除
    命令    nl /etc/passwd | sed '2,5d'
    说明:d就是删除动作
    <2> 只删除第2行
    命令    nl /etc/passwd | sed '2d'
    <3> 删除第3行到最后行
    命令    nl /etc/passwd | sed '3,$d'
    <4> 在第2行后面加上"hello man!"字样
    命令    nl /etc/passwd | sed '2a hello man!'
    <5> 在第2行后面加上多行字符串"hello man!"和"yeah!,ok!"字样
    命令    nl /etc/passwd | sed '2a hello man!\
            yeah!,ok!'
    说明:每一行之间都必须要以反斜杠[\]来进行新行的添加！
    ********以"行"为单位的替换与显示********
    <1> 将2-5行的内容取代成"2-5行内容汇总"
    命令    nl /etc/passwd | sed '2,5c 2-5行内容汇总'
    <2> 仅列出/etc/passwd文件内的第5-7行
    命令    nl /etc/passwd | sed -n '5,7p'
    ********数据的查找并显示********
    <1> 搜索/etc/passwd有root关键字的行
    命令    nl /etc/passwd | sed '/root/p'
    注意事项:不管有没有命中搜索关键字，所有行均会原样进行输出。
    <2> 使用 -n只打印匹配行
    命令    nl /etc/passwd | sed -n '/root/p'
    ********数据的查找并删除********
    <1> 删除 /etc/passwd所有包含root的行,只输出其他行
    命令    nl /etc/passwd | sed '/root/d'
    ********数据的查找并执行命令******** 
    <1> 匹配上"root"字符串后,搜索/etc/passwd,找到root对应的行,执行后面花括号的一组命令
    命令    nl /etc/passwd | sed -n '/root/{s/bash/blueshell/;p}'
    说明:每个命令之间用分号分隔。
    ********数据的查找并替换********
    <1> 把/etc/passwd中的"root"替换成"rootUser"
    命令    nl /etc/passwd | sed 's/root/rootUser/g'

    ********多点编辑********
    <1> sed承接多个编辑命令,如:删除/etc/passwd第三行到末尾的数据,并把bash替换成blueshell
    命令    nl /etc/passwd | sed -e '3,$d' -e 's/bash/blueshell/'
    ********直接修改文件内容********
    <1>在test.txt最后一行加入[This is a test]
    命令    sed -i '$a This is a test' test.txt

3. awk命令
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
1. 命令格式
    awk '{pattern + action}' {filenames}
2. 功能描述
    pattern就是要表示的正则表达式,用斜杠括起来。而action是在找到匹配内容时所执行的一系列命令。
    awk最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息,awk抽取信息后才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息。
    通常,awk是以文件的一行为处理单位的。awk每接收文件的一行,然后执行相应的命令,来处理文本。
3. awk 内置变量
awk有许多内置变量用来设置环境信息,这些变量可以被改变,下面给出了最常用的一些变量。
    ARGC    :命令行参数个数
    ARGV    :命令行参数排列
    ENVIRON :支持队列中系统环境变量的使用
    FILENAME:awk浏览的文件名
    FNR     :浏览文件的记录数
    FS      :设置输入域分隔符,等价于命令行 -F选项，默认分隔符是\tab
    NF      :浏览记录的域的个数
    NR      :已读的记录数
    OFS     :输出域分隔符
    ORS     :输出记录分隔符
    RS      :控制记录分隔符
    $0      :整条记录
    $1      :表示当前行的第一个域
4. 使用示例
    示例数据:
        命令    last -n 5    #仅取出前五行
        结果
               root     pts/1   192.168.1.100  Tue Feb 10 11:21   still logged in
               root     pts/1   192.168.1.100  Tue Feb 10 00:46 - 02:28  01:41.
               root     pts/1   192.168.1.100  Mon Feb  9 11:41 - 18:30  06:48.
               tledu    pts/1   192.168.1.100  Mon Feb  9 11:41 - 11:41  00:00.
               root     tty1                   Fri Sep  5 14:09 - 14:10  00:01.
    <1> 如果只是显示最近登录的5个账号
    命令    last -n 5 | awk '{print $1}'
    说明:读入有换行符分割的一条记录,然后将记录按指定的域分割符划分域,填充域。$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键"或"[tab]键",所以$1表示登录用户,$3表示登录用户ip,以此类推。
    <2> 只显示/etc/passwd的账户
    命令    cat /etc/passwd | awk -F ':' '{print $1}'
    <3> 只显示/etc/passwd的账户和账户对应的shell,而账户和shell之间以tab键分割
    命令    cat /etc/passwd | awk -F ':' '{print $1"\t"$7}'
    <4> 只显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"
    命令    cat /etc/passwd | awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7} END {print "blue,/bin/nosh"}'
    <5> 搜索/etc/passwd有root关键字的所有行
    命令    awk -F : '/root/' /etc/passwd
    <6> 搜索/etc/passwd有root关键字的所有行,并显示对应的shell
    命令    awk -F : '/root/{print $7}' /etc/passwd

    <7> 统计/etc/passwd的文件名,每行的行号,每行的列数,对应的完整行内容
     命令    awk -F ':' '{print "filename:" FILENAME ",linenum:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
5.awk编程
5.1 变量和赋值
除了awk的内置变量,awk还可以自定义变量。
<1> 下面统计/etc/passwd的账户人数
命令    awk '{count++;print $0;} END{print "user count is ",count}' /etc/passwd
说明:count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句,而action{}可以有多个语句,以;号隔开。
<2> 上例中没有初始化count变量的值，妥当起见,还是先赋值
命令    awk 'BEGIN {count=0;print "[start]user count is ",count} {count++;print $0;} END{print "user count is ",count}'
<3> 统计某个文件夹下的文件占用的字节数
命令    ls -l|awk 'BEGIN {size=0;} {size+=$5;} END{print "[end]size is ",size}'
说明:统计不包括文件夹的子目录
5.2 条件语句
声明方式: 
    if表达式. {语句;}
    if表达式1. {语句;} else if表达式2. {语句;}
    if表达式. {语句;} else {语句;}
    <1> 统计某个文件夹下的文件占用的字节数,过滤4096大小的文件一般都是文件夹.
    命令    ls -l | awk 'BEGIN {size=0;print "[start]size is ",size} {if($5!=4096) {size+=$5;}} END{print "[end]size is ",size/1024/1024,"M"}'
5.3 循环语句
声明方式:
    while、do/while、for、break、continue