浅学一下Shell脚本(1)--先学一些小工具

一.一些小工具

1.cut工具

cut是 列 截取工具，用于列的截取

语法和选项

cut [选项] [文件名]
#选项：
-c:	以字符为单位进行分割,截取
-d:	自定义分隔符，默认为制表符\t
-f:	与-d一起使用，指定截取哪个区域

举例

cut -d: -f1 1.txt 			# 以:冒号分割，截取第1列内容
cut -d: -f1,6,7 1.txt		# 以:冒号分割，截取第1,6,7列内容
cut -c4 1.txt 				# 截取文件中每行第4个字符
cut -c1-4 1.txt 			# 截取文件中每行的1-4个字符
cut -c4-10 1.txt 			# 截取文件中每行的4-10个字符
cut -c5- 1.txt 				# 从第5个字符开始截取后面所有字符

2.sort工具

sort工具用于排序;它将文件的每一行作为一个单位，从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。

语法和选项

sort [选项] [文件名]
#选项：
-u ：去除重复行
-r ：降序排列，默认是升序
-o : 将排序结果输出到文件中,类似重定向符号>
-n ：以数字排序，默认是按字符排序
-t ：指定分隔符
-k ：指定要排序的列
-b ：忽略前导空格。

举例

sort -n -t: -k3 1.txt
sort -n 2.txt						#按照数字排序(升序)
sort -nu 2.txt 						#按照数字排序并且去重
sort -nr 2.txt						#按照数字排序(降序)
sort -nru 2.txt 
sort -n 2.txt -o 3.txt 				#按照数字排序并将结果重定向到文件

3.uniq工具

uniq用于去除连续的重复行

语法和选项

uniq [选项] [文件名]
#选项：
-i: 忽略大小写
-c: 统计重复行次数
-d: 只显示重复行

举例

uniq 2.txt 
uniq -c 2.txt 
uniq -dc 2.txt 

4.tee工具

tee工具是从标准输入读取并写入到标准输出和文件，即：双向覆盖重定向（屏幕输出|文本输入）

#举例：将进程信息通过管道输出到标准输出并覆盖写入到文件中
ps -ef|tee info_a.log info_b.log

#举例：将进程信息通过管道输出到标准输出并追加写入到文件中
ps -ef|tee -a info_a.log info_b.log
#-a 双向追加重定向

5.diff工具

diff工具用于逐行比较文件的不同

注意：diff描述两个文件不同的方式是告诉我们怎样改变第一个文件之后与第二个文件匹配。

语法和选项

diff [选项] [文件1] [文件2]
#选项：
-b: 不检查空格
-B: 不检查空白行
-i: 不检查大小写
-w: 忽略所有的空格
-c: 显示全部内容，并标出不同之处
-u: 以合并的方式来显示文件内容的不同
-r: 比较目录中的子文件

举例

# 准备两个测试文件
[root@server ~]# cat file1			[root@server ~]# cat file2
aaaa								aaa
111									hello
hello world							111
222									222
333									bbb
bbb									333
									world


############################# 正常显示 ############################
[root@server ~]# diff file1 file2
1c1,2				# file1的第1行需要改变(c=change)才能和file2的第1到2行匹配			
< aaaa				# 小于号"<"表示左边文件(file1)文件内容
---					# ---表示分隔符
> aaa				# 大于号">"表示右边文件(file2)文件内容
> hello
3d3					# file1的第3行删除(d=delete)后才能和file2的第3行匹配
< hello world
5d4					# file1的第5行删除后才能和file2的第4行匹配
< 333
6a6,7				# file1的第6行增加(a=add)内容后才能和file2的第6到7行匹配
> 333				# 需要增加的内容在第二个文件里是333和world
> world


######################## 上下文格式显示 #############################
[root@server ~]# diff -c file1 file2
#前两行主要列出需要比较的文件名和文件的时间戳；
#文件名前面的符号***表示file1，---表示file2
*** file1       2022-04-09 20:26:05.748650262 +0800
--- file2       2022-04-09 20:26:30.470646030 +0800
***************
*** 1,6 ****		# 以***开头表示file1文件，1,6表示1到6行
! aaaa				# !表示该行需要修改才与第二个文件匹配
  111
- hello world		# -表示需要删除该行才与第二个文件匹配
  222
- 333				# -表示需要删除该行才与第二个文件匹配
  bbb
--- 1,7 ----		# 以---开头表示file2文件，1,7表示1到7行
! aaa				# 表示第一个文件需要修改才与第二个文件匹配
! hello				# 表示第一个文件需要修改才与第二个文件匹配
  111
  222
  bbb
+ 333				# 表示第一个文件需要加上该行才与第二个文件匹配
+ world				# 表示第一个文件需要加上该行才与第二个文件匹配


########################## 合并格式显示 ############################
[root@server ~]# diff -u file1 file2
#前两行主要列出需要比较的文件名和文件的时间戳；
#文件名前面的符号---表示file1，+++表示file2
--- file1       2022-04-09 16:26:05.748650262 +0800
+++ file2       2022-04-09 16:26:30.470646030 +0800
@@ -1,6 +1,7 @@
-aaaa
+aaa
+hello
 111
-hello world
 222
-333
 bbb
+333
+world

6.paste工具

paste工具用于合并文件行

语法和选项

patch [选项] [文件] [补丁文件]
#选项：
-d：自定义间隔符，默认是tab
-s：串行处理，非并行

举例

#打补丁：
diff -u test1 test2 > test.patch 	#生成补丁文件 
patch -b test1 test.patch			#给test1打补丁同时备份原文件

7.tr工具

tr用于字符转换，替换和删除；主要用于删除文件中控制字符或进行字符转换

语法和选项

#用法1：命令的执行结果交给tr处理，string1用于查询，string2用于转换处理
[commands]|tr  [string1]  [string2]

#用法2：tr处理的内容来自文件，记住要使用"<"标准输入
tr  [string1]  [string2] < [filename]

#用法3：匹配string1进行相应操作，如删除操作
tr [options] [string1] < [filename]

#选项：
-d 删除字符串1中所有输入字符。
-s 删除所有重复出现字符序列，只保留第一个；即将重复出现字符串压缩为一个字符串

举例

tr 'a-z' 'A-Z' < 3.txt			# 小写转大写 
tr 'A-Z' 'a-z' < 3.txt			# 大写转小写
tr -d '[:/]' < 3.txt 			# 删除文件中的:和/
cat 3.txt |tr -d '[:/]'			# 删除文件中的:和/
tr '[0-9]' '@' < 3.txt 			# 将文件中的数字替换为@符号
tr -d '[:digit:]' < 3.txt 		# 删除文件中的数字
tr -d '[:blank:]' < 3.txt 		# 删除水平空白
tr -d '[:space:]' < 3.txt 		# 删除所有水平和垂直空白

8.test工具

1)语法格式

格式1： 
test 条件表达式
格式2： 
[条件表达式]
格式3：
[[条件表达式]]			#支持正则 

2)参数

☆关系运算符

-eq	相等
-ne	不等
-gt	大于
-lt	小于
-ge 大于等于
-le	小于等于

☆文件测试运算符

-e	是否存在   不管是文件还是目录，只要存在，条件就成立
-f	是否为普通文件
-d	是否为目录
-S	socket
-p	pipe
-c	character
-b	block
-L	软link

-s  文件存在且不为空

☆文件权限运算符

-r	当前用户对其是否可读
-w	当前用户对其是否可写
-x	当前用户对其是否可执行
-u	是否有suid
-g	是否sgid
-k	是否有t位

☆两个文件之间的判断

file1 -nt  file2	比较file1是否比file2新	
file1 -ot  file2 	比较file1是否比file2旧
file1 -ef  file2	比较是否为同一个文件

test file1 -nt file2	
[ file1 -ot file2 ]

☆字符串运算符

-z  是否为空字符串
-n  是否为非空字符串
string1 = string2 		是否相等
string1 != string2 		不等

☆逻辑运算符

 -a     和 &&  	两个条件同时满足，整个大条件为真
 -o     和 ||	两个条件满足任意一个，整个大条件为真

3)示例

[ $(id -u) -eq 0 ] && echo "the user is admin" || echo "the user is not admin"

9.find工具

语法和选项

find [搜索路径] [选项] [搜索内容]
#选项：
-name 		#查找条件为文件名称 
-user 		#查找某个用户的文件 
-group 		#查找某个组的文件 
-size		#查找条件为文件大小 
-type 		#查找某类型文件 
-ctime 		#在过去n天内创建的文件
-mtime		#在过去n天内修改过的文件
-empty		#空的文件
-perm 		#按照文件权限查找 
-exec 		#对查找出来的内容进行相应处理 
-maxdepth 	#设定最大查找深度 
-mindepth 	#设定最小查找深度 
-o 			#条件或者 
-a 			#条件并且 
-not 		#条件反选 

举例

find /etc/ -name *.txt 
find /etc/ -maxdepth 1 -name passwd 
find /etc/ -maxdepth 2 -name passwd 
find /etc/ -maxdepth 2 -mindepth 2 -name passwd 
find /mnt/ -user student 
find /mnt/ -not -user student 
find /mnt/ -user student -o -user laowang 
find /mnt/ -user student -a -group laowang 
find /mnt/ -type d 
find /mnt/ -ctime 20
find /mnt/ -perm 644  					#文件权限为644
find /mnt/ -perm 644 -type f -exec chmod ugo-x {} \; 
#{}表示find命令查找结果 
#\是为了转译“；”

二.一些小案例

1. 输出ens33网卡的IP

ip addr show ens33 | grep -w "inet" | cut -d " " -f 6 
ifconfig ens33 | grep -w "inet" | cut -d " " -f 10

2. 按照文件大小进行排序并找出最大的2个文件并显示其名称。

ls -l | cut -d " " -f 5- | sort -nr | head -n 2 | cut -d " " -f 6

3. 测试一个IP是否可以ping通

ping -c1 -w1 192.168.1.8 &> /dev/null && echo "yes" || echo "no"

4. 做一个脚本检测文件类型

#!/bin/bash
[ -z "$*" ] && { 
	echo "ERROR: please input check file!!" 
	exit 
}
[ -e "$*" ] || { 
	echo "ERROR: please input correct file!!" 
	exit 
}
[ -L "$*" ] && { 
	echo "The input file is soft link" 
	exit 
}
[ -f "$*" ] && { 
	echo "the input file is a common file" 
	exit 
}
[ -d "$*"] && { 
	echo "the input file is a directory" 
	exit 
}

5. 将系统中所有普通用户的用户名、密码和默认shell保存到一个文件中，要求用户名密码和默认shell之间用tab键分割

grep bash$ passwd |grep -viE 'root|mysql'|cut -d: -f1,2,7|tr ':' '\t' |tee a.txt