- cut
- sed
- awk
- sort
Shell提供的工具可以帮助我们更快的完成需求操作。
一、cut
功能描述: cut的工作就是"剪",具体是用来在文件中负责剪切数据。cut 命令从文件的每一行剪切字节、字符和字段并将这些文字、字符和字段输出。
基本用法:
cut [选项参数] filename // 默认的分隔符是制表符
选项参数说明:
-f : 表示列号,提取第几列
-d : 分隔符,按照指定分隔符来分割列
案例操作:
数据准备,在一个 cut.txt 文件中写入下面数据
shan si xi chuan wo wo ai ai ni ni
操作一: 切割 cut.txt 第一列
命令: cut -d " " -f 1 cut.txt //这里的-d表示切割的分隔符是一个空格,列是第一列
操作二: 切割 cut.txt 第二列、第三列
命令: cut -d " " -f 2,3 cut.txt
操作三: 在cut文件中,切割出 chuan
命令: cut -d " " -f 2,3 cut.txt | grep "chuan" //这里使用管道符和grep文本过滤符
这里切割 "chuan",也可以使用 cat cut.txt | grep "chuan" | cut -d " " -f 2
此处注意切割的时候,空格的多少也会影响切割的结果。
操作四: 选取系统变量PATH,中第二个 “ :” 号,开始后的所有路径 。
命令: echo $PATH | cut -d ":" -f 3- // 3后面的减号表示3以后的所有
// 这里先echo打印出来,然后管道符交给cut切割,第二个冒号开始,就是第三列开始。
也可以使用 echo $PATH | cut -d : -f 3,4,5,6,7
操作五: 切割ifconfig,打印地址
命令: ifconfig virbr0 | grep "inet" | cut -d t -f 2 | cut -d n -f 1
二、sed
功能描述 : sed是一种流编辑器,它一次处理一行内容。
使用原理: 处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”,接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。
基本用法:
sed [选项参数] ’command‘ filename //格式: sed 参数 '命令' 文件名
选项参数说明:
-e 直接在指令模式下进行sed动作的编辑 // 连续指令时候,用-e连接
命令功能描述:
a 新增,a后面可以接字符串,在下一行出现
d 删除,删除内容后,输出剩余内容
s 查找和替换,完成后输出内容
案例操作:
数据准备: 在 sed.txt文件中写入下面内容:
shan si xi chuan wo wo ai ai ni ni
操作一: 将 shuai ge 单词插入到sed.txt 中的第二行下,并打印。
命令: sed "2a shuai ge" sed.txt
// 这里的 2a 意思是第二行增加的意思,注意增加后原文件没有改变。
操作二:删除sed.txt 文件中,所有包含 “wo” 的行。
命令: sed "/wo/d" sed.txt
// 注意这里把需要删除的内容写在 / / 中,后面写上d,表示删除。源文件没有变。
操作三:将 sed.txt 中 “wo” 替换成 “ni”
命令:sed "s/wo/ni/g" sed.txt
// 这里使用s表示替换指令,后面分别写上 /被替换的/替换为/,g表示全部替换。
替换后源文件没有改变。
操作四:将 sed.txt 文件中的第二行删除并将wo替换成ni
命令: sed -e "2d" -e "s/wo/ni/g" sed.txt
// 用 -e 来连接多个指令,2d表示删除第二行。
三、awk
功能描述: 一个强大的文本分析工具,把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行分析处理。
基本用法:
awk [选项参数] ‘pattern1 {actionl} pattern2{action2}...’ filename.
pattern: 表示AWK在数据中查找的内容,就是匹配模式, //可以是正则表达式
action: 在找到匹配内容时所执行的一系列命令。 //print 打印选项参数说明:
-F 指定输入文件的分隔符
-v 赋值一个用户定义变量
案例操作:
数据准备:
使用 root 环境下: /etc/passwd
操作一:搜索passwd文件以root关键字开头的所有行,并输出该行的第七列。
命令: awk -F : '/^root/{print $7}' passwd
// -F: 指定 冒号为分隔符, 然后匹配所有以root开头 的,打印出第七个
注意: 这里的匹配和指令部分是使用单引号。
操作二:搜索passwd文件以root关键字开头的所有行,并输出该行的第一列和第七列,中间以 ” , “号分割。
命令:awk -F : '/^root/ {print $1 "," $7}' passwd
// 注意,这里的逗号需要用双引号进行分隔,才能被识别。
// 只有匹配了前面的^root,才会执行后面的,不匹配不执行。
操作三:只显示/etc/passwd的第一列和第七列,以逗号分割,且在所有行前面添加列名user,shell在最后一行添加"zj,/bin/zuishuai"。,
命令:awk -F : 'BEGIN{print "user , shell"} {print $1 "," $7} END{print "zj,/bin/zuishuai"}' passwd
// BEGIN 在所有数据读取之前执行
// END 在所有数据读取之后执行
操作四:将passwd文件中的用户id增加数值10 并输出。
命令: awk -F : -v i=1 '{print $3+i}' passwd
// 使用 -v 来 定义变量,然后直接赋值 ,输出。
awk的内置变量:
FILENAME 表示文件名
NR 表示 已读的记录数
NF 浏览记录的域的个数(切割后,列的个数)
案例操作:
操作一:统计passwd文件名,每行的行号,每行的列数
命令:awk -F : '{print FILENAME "," NR "," NF}' /etc/passwd
// 使用内置变量,然后输出。
操作二:切割IP
命令 :ifconfig virbr0 | grep "inet" | awk -F t '{print $2}' | awk -F n '{print $1}'
// 使用 管道符和文本过滤符联合awk使用
操作三:查询sed.txt中所在空行的行号
命令:awk -F : '/^$/ {print NR}' sed.txt
// 使用正则表达式匹配空行,然后NR输出
四、sort
sort命令是在Linux里非常有用,它将文件进行排序,并将排序结果标准输出。
基本语法:
sort(选项)(参数)
选项:
-n 依照数值的大小排序
-r 以相反的顺序来排序
-t 设置排序时所用的分隔字符
-k 指定需要排序的列
参数是指定待排序的文件列表
案例操作:
数据准备:
bb : 40:5.4 bd: 20:4.2 Xz:50:2.3 cls: l0:3.5 ss:30:l.6
操作一:按 ”:“号分割后的第三列倒序排序
命令: sort -t : -nrk 3 sort.txt
// 使用-t来指定分割符,使用-nrk,来满足需求
简单的正则表达式: