Linux学习 -- Shell的工具

• cut
• sed
• awk
• sort

Shell提供的工具可以帮助我们更快的完成需求操作。

一、cut

 功能描述： cut的工作就是"剪"，具体是用来在文件中负责剪切数据。cut 命令从文件的每一行剪切字节、字符和字段并将这些文字、字符和字段输出。

基本用法：

        cut [选项参数] filename      // 默认的分隔符是制表符

选项参数说明：

        -f   :      表示列号，提取第几列

        -d  :      分隔符,按照指定分隔符来分割列

案例操作：

        数据准备，在一个 cut.txt 文件中写入下面数据

        

shan si
xi chuan
wo  wo
ai  ai
ni  ni

操作一：   切割 cut.txt 第一列

        命令：  cut -d " " -f 1 cut.txt          //这里的-d表示切割的分隔符是一个空格，列是第一列

操作二：   切割 cut.txt 第二列、第三列

        命令：  cut -d " " -f 2,3 cut.txt

操作三：    在cut文件中，切割出 chuan  

        命令：  cut -d " " -f 2,3 cut.txt | grep "chuan"      //这里使用管道符和grep文本过滤符

 这里切割 "chuan"，也可以使用 cat cut.txt | grep "chuan" | cut -d " " -f 2

此处注意切割的时候，空格的多少也会影响切割的结果。

操作四：   选取系统变量PATH，中第二个 “ ：” 号，开始后的所有路径 。

    命令： echo $PATH | cut -d ":" -f 3-       // 3后面的减号表示3以后的所有

    // 这里先echo打印出来，然后管道符交给cut切割，第二个冒号开始，就是第三列开始。

也可以使用 echo $PATH  | cut -d : -f 3,4,5,6,7

 操作五： 切割ifconfig，打印地址

        命令： ifconfig virbr0 | grep "inet" | cut -d t -f 2 | cut -d n -f 1

二、sed

功能描述 ： sed是一种流编辑器，它一次处理一行内容。

使用原理： 处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。

基本用法：

        sed [选项参数]  ’command‘ filename    //格式:  sed  参数  '命令'  文件名

选项参数说明：

        -e       直接在指令模式下进行sed动作的编辑   // 连续指令时候，用-e连接

命令功能描述：

        a        新增，a后面可以接字符串,在下一行出现

        d        删除，删除内容后，输出剩余内容

        s        查找和替换，完成后输出内容

案例操作：

数据准备： 在 sed.txt文件中写入下面内容：

shan si
xi chuan
wo  wo
ai  ai

ni  ni

操作一:   将 shuai ge 单词插入到sed.txt 中的第二行下，并打印。

        命令： sed "2a shuai ge" sed.txt

                //  这里的 2a 意思是第二行增加的意思，注意增加后原文件没有改变。

操作二：删除sed.txt 文件中，所有包含 “wo” 的行。

        命令： sed "/wo/d" sed.txt

                //  注意这里把需要删除的内容写在 / / 中，后面写上d，表示删除。源文件没有变。

 

操作三：将 sed.txt 中 “wo” 替换成 “ni” 

        命令：sed "s/wo/ni/g" sed.txt

                // 这里使用s表示替换指令，后面分别写上 /被替换的/替换为/，g表示全部替换。

                   替换后源文件没有改变。

 

操作四：将 sed.txt 文件中的第二行删除并将wo替换成ni

        命令： sed -e "2d" -e "s/wo/ni/g" sed.txt

                // 用 -e 来连接多个指令，2d表示删除第二行。

三、awk

 功能描述： 一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行分析处理。

基本用法：

        awk [选项参数]   ‘pattern1 {actionl}    pattern2{action2}...’    filename.

        pattern:       表示AWK在数据中查找的内容，就是匹配模式,     //可以是正则表达式
        action:        在找到匹配内容时所执行的一系列命令。   //print  打印

选项参数说明：

        -F        指定输入文件的分隔符

        -v        赋值一个用户定义变量

案例操作：

        数据准备：

                使用 root 环境下： /etc/passwd 

操作一：搜索passwd文件以root关键字开头的所有行，并输出该行的第七列。

        命令： awk -F : '/^root/{print $7}' passwd

                // -F： 指定 冒号为分隔符， 然后匹配所有以root开头 的，打印出第七个

                注意： 这里的匹配和指令部分是使用单引号。

 

操作二：搜索passwd文件以root关键字开头的所有行，并输出该行的第一列和第七列，中间以 ” , “号分割。

        命令：awk -F :  '/^root/ {print $1 "," $7}' passwd

                // 注意，这里的逗号需要用双引号进行分隔，才能被识别。

                // 只有匹配了前面的^root，才会执行后面的，不匹配不执行。

操作三：只显示/etc/passwd的第一列和第七列,以逗号分割,且在所有行前面添加列名user,shell在最后一行添加"zj，/bin/zuishuai"。,

        命令：awk -F : 'BEGIN{print "user , shell"} {print $1 "," $7} END{print "zj，/bin/zuishuai"}'  passwd

                // BEGIN        在所有数据读取之前执行  

                // END        在所有数据读取之后执行

 

 

操作四：将passwd文件中的用户id增加数值10 并输出。

        命令： awk -F : -v i=1 '{print $3+i}' passwd

                // 使用 -v 来 定义变量，然后直接赋值 ，输出。

 

awk的内置变量：

        FILENAME        表示文件名

        NR                     表示 已读的记录数

        NF                      浏览记录的域的个数(切割后，列的个数)

案例操作：

        操作一：统计passwd文件名，每行的行号，每行的列数

                命令：awk -F : '{print  FILENAME "," NR  "," NF}'  /etc/passwd

                        // 使用内置变量，然后输出。

 

        操作二：切割IP

                命令 ：ifconfig virbr0 | grep "inet" | awk -F t '{print $2}' | awk -F n '{print $1}' 

                        // 使用 管道符和文本过滤符联合awk使用

        操作三：查询sed.txt中所在空行的行号

                命令：awk -F : '/^$/ {print NR}' sed.txt

                        // 使用正则表达式匹配空行，然后NR输出

四、sort 

sort命令是在Linux里非常有用，它将文件进行排序，并将排序结果标准输出。

基本语法：       

        sort(选项)(参数)

选项：

        -n        依照数值的大小排序

        -r        以相反的顺序来排序

        -t        设置排序时所用的分隔字符

        -k        指定需要排序的列

参数是指定待排序的文件列表

案例操作：

        数据准备：

        

bb : 40:5.4
bd: 20:4.2
Xz:50:2.3
cls: l0:3.5
ss:30:l.6

        操作一：按 ”：“号分割后的第三列倒序排序

                命令：     sort  -t : -nrk 3 sort.txt 

                        // 使用-t来指定分割符，使用-nrk，来满足需求

 简单的正则表达式：