一.概述
Shell是一个命令行解释器,它接收应用程序/用户命令,然后调用操作系统内核。Shell还是一个功能强大的编程语言,易编写、易调试、灵活性强
二.Shell解析器
shell脚本常用的解析器有
- /bin/sh
- /bin/bash
- /sbin/nologin
- /bin/dash
- /bin/tcsh
- /bin/csh
默认情况下使用/bin/bash解析shell脚本
三.Shell脚本入门
1.脚本格式
脚本以#!/bin/bash开头(指定解析器)
2.helloworld
touch helloworld.sh
vim helloworld.sh
#!/bin/bash
echo "helloworld"
sh helloworld.sh 或者bash helloworld.sh 执行脚本
注:./helloworld.sh执行脚本,如果权限不够会报错,但是用bash或者sh执行则不会报权限不够的错误,原因是bash/sh执行本质是把脚本放在bash/sh中执行,可以理解成复制,而./直接执行是当前用户直接执行,如果没有权限则无法执行,可以通过chmod修改文件权限
3.多命令处理
需求:在/home/atguigu/目录下创建一个banzhang.txt,在banzhang.txt文件中增加“I love cls”
touch batch.sh
vim batch.sh
#!/bin/bash
cd /home/atguigu/
touch banzhang.txt
echo "I love cls" >> banzhang.txt
bash batch.sh
四.Shell中的变量
1.常用系统变量
$HOME $PWD $SHELL $USER等
2.自定义变量
定义变量: 变量=值 shell脚本等号两边不能留空
A=2
echo $A
2
撤销变量: unset A
A=2
unset A
echo $A
什么也不会发生
声明静态变量: readonly 变量,注意,不能unset
readonly B=3
在shell中变量默认类型都是字符串,无法直接进行数值运算
变量的值如果有空格,需要使用双引号或单引号括起来
可把变量提升为全局环境变量,供其他shell程序使用: export 变量
3.特殊变量
-
$n n为数字,$0表示该脚本名称, 1 − 9 代 表 第 一 到 第 九 个 参 数 , 十 以 上 的 参 数 需 要 用 大 括 号 包 含 , 如 1-9代表第一到第九个参数,十以上的参数需要用大括号包含,如 1−9代表第一到第九个参数,十以上的参数需要用大括号包含,如{10} bash parameter.sh banzhang love 执行shell脚本时,输入的两个参数为banzhang和love,$1就代表banzhang,$2代表love
-
$# 获取所有输入参数个数,常用于循环
-
$* 这个变量代表命令行中所有的参数,把所有的参数看成一个整体
-
@ 这 个 变 量 代 表 命 令 行 中 所 有 的 参 数 , 不 过 @ 这个变量代表命令行中所有的参数,不过 @这个变量代表命令行中所有的参数,不过@把每个参数区分对待
-
$? 最后一次执行的命令的返回状态。如果这个变量的值为0,证明上一个命令正确执行,如果这个变量的值为非0(具体是哪个数,由命令自己决定),则证明上一个命令执行不正确
五.运算符
$((运算式)) 或 $[运算式] 或 expr + - \* / % 加减乘除取余 注:expr运算符间要有空格
expr 3 + 2
5
expr `expr 2 + 3` \* 4 先2+3,后乘4,``在esc下方
20
s=$[(2+3)*4]
20
六.条件判断
[ condition ] (注意:condition前后要有空格) 条件非空即为true,[ atguigu ]返回true,[]返回false
常用判断条件:
- 两个整数之间比较 -lt小于(less than) -le小于等于(less equal) -eq等于(equal) -gt大于(greater than) -ge大于等于(greater than) -ne不等于(not equal)
- 按照文件权限进行判断 -r 有读的权限 -w 有写的权限 -x 有执行的权限
- 按照文件类型进行判断 -f 文件存在并且是一个常规的文件 -e 文件存在 -d 文件存在并是一个目录
[ 23 -ge 22 ] 23是否大于等于22
echo $?
0
[ -w helloworld.sh ] helloworld.sh是否具有写权限
echo $?
0
[ -e /home/atguigu/cls.txt ] 目录中的文件是否存在
echo $?
0
多条件判断,&&表示前一条命令执行成功后,才执行下一条命令,||表示上一条命令执行失败后,才执行下一条命令
[ condition ]&&echo OK||echo notok
OK
[ condition ]&&[]||echo notok
notok
七.流程控制
1.if判断
if判断
if [ 条件判断式 ]
then
程序
fi
或者
if [ 条件判断式 ];then
程序
fi
注意:[ ] ,中括号和条件判断式之间必须有空格 if后要有空格
touch if.sh
vim if.sh
#!/bin/bash
if [ $1 -eq 1 ]
then
echo "banzhangzhenshuai"
elif [ $1 -eq 2 ]
then
echo "cls zhen mei"
fi
bash if.sh 1
banzhangzhenshuai
bash if.sh 2
cls zhen mei
2.case语句
case $变量名 in
值1)
如果变量的值等于1,则执行程序1
;;
值2)
如果变量的值等于2,则执行程序2
;;
……
*)
如果变量的值都不是以上的值,则执行此程序
;;
esac
3.for循环
for((初始值;循环控制条件;变量变化))
do
程序
done
for 变量 in 值1 值2 值3
do
程序
done
4.while循环
while [ 条件判断式 ]
do
程序
done
八.read读取控制台输入
read(选项) (参数)
选项:
- -p:指定读取值时的提示符
- -t:指定读取值时等待的时间(秒)
参数:
- 变量:指定读取值的变量名
read -t 7 -p "Enter your name in 7 seconds" NAME
echo $NAME
九.函数
1.系统函数
(1) basename用法
basename[string/pathname][suffix] (功能描述:basename命令会删掉所有的前缀包括最后一个(‘/’)字符,然后将字符串显示出来)
suffix为后缀,如果suffix被指定了,basename会将pathname或string中的suffix去掉
basename /home/atguigu/banzhang.txt
banzhang.txt
basename /home/atguigu/banzhang.txt .txt
banzhang
(2) dirname用法
dirname文件绝对路径 (功能描述:从给定的包含绝对路径的文件名中去除文件名(非目录的部分),然后返回剩下的路径(目录部分))
dirname /home/atguigu/banzhang.txt
/home/atguigu
2.自定义函数
[] 内容可有可无
[ function ]funname][()]
{
action;
[return int;]
}
funname
必须在调用函数之前,先声明函数,shell脚本是逐行运行,不会像其他语言一样先编译
函数返回值,只能通过$?系统变量获得,可以显示加:return 返回,如果不加,将以最后一条命令运行结果,作为返回值, return后跟数值n(0-255)
计算两个输入参数的和
#!/bin/bash
function sum()
{
s=0;
s=$[$1+$2]
echo $s
}
read -p "input your parameter1:" P1
read -p "input your parameter2:" P2
sum $P1 $P2
十.Shell工具
1.cut
cut的工作就是“剪”,具体的说就是在文件中负责剪切数据用的。cut命令从文件的每一行剪切字节、字符和字段并将这些字节,字符和字段输出
cut[选项参数] filename
说明:默认分隔符是制表符
选项参数:
- -f 列号,提取第几列
- -d 分隔符,按照指定分隔符分割列
数据准备
[atguigu@hadoop101 datas]$ touch cut.txt
[atguigu@hadoop101 datas]$ vim cut.txt
dong shen
guan zhen
wo wo
lai lai
le le
切割cut.txt第一列
[atguigu@hadoop101 datas]$ cut -d " " -f 1 cut.txt
dong
guan
wo
lai
le
切割cut.txt第二、三列
[atguigu@hadoop101 datas]$ cut -d " " -f 2,3 cut.txt
shen
zhen
wo
lai
le
在cut.txt文件中切割出guan
[atguigu@hadoop101 datas]$ cat cut.txt | grep "guan" | cut -d " " -f 1
guan
选取系统PATH变量值,第2个“:”开始后的所有路径:
[atguigu@hadoop101 datas]$ echo $PATH
/usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/atguigu/bin
[atguigu@hadoop102 datas]$ echo $PATH | cut -d: -f 2-
/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/atguigu/bin
切割ifconfig 后打印的IP地址
[atguigu@hadoop101 datas]$ ifconfig eth0 | grep "inet addr" | cut -d: -f 2 | cut -d" " -f1
192.168.1.102
2.sed
sed是一种流编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”,接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出
sed [选项参数] ‘command’ filename
选项参数:
- -e 直接在指令列模式上进行sed的动作编辑
命令功能:
- a 新增,a的后面可以接字串,在下一行出现
- d 删除
- s 查找并替换
数据准备
[atguigu@hadoop102 datas]$ touch sed.txt
[atguigu@hadoop102 datas]$ vim sed.txt
dong shen
guan zhen
wo wo
lai lai
le le
将“mei nv”这个单词插入到sed.txt第二行下,打印
[atguigu@hadoop102 datas]$ sed '2a mei nv' sed.txt
dong shen
guan zhen
mei nv
wo wo
lai lai
le le
[atguigu@hadoop102 datas]$ cat sed.txt
dong shen
guan zhen
wo wo
lai lai
le le
删除sed.txt文件所有包含wo的行
[atguigu@hadoop102 datas]$ sed '/wo/d' sed.txt
dong shen
guan zhen
lai lai
le le
将sed.txt文件中wo替换为ni 注意:‘g’表示global,全部替换
[atguigu@hadoop102 datas]$ sed 's/wo/ni/g' sed.txt
dong shen
guan zhen
ni ni
lai lai
le le
将sed.txt文件中的第二行删除并将wo替换为ni
[atguigu@hadoop102 datas]$ sed -e '2d' -e 's/wo/ni/g' sed.txt
dong shen
ni ni
lai lai
le le
3.awk
一个强大的文本分析工具,把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行分析处理
awk [选项参数] ‘pattern1{action1} pattern2{action2}…’ filename
pattern:表示AWK在数据中查找的内容,就是匹配模式
action:在找到匹配内容时所执行的一系列命令
选项参数:
- -F 指定输入文件折分隔符
- -v 赋值一个用户定义变量
数据准备
[atguigu@hadoop102 datas]$ sudo cp /etc/passwd ./
搜索passwd文件以root关键字开头的所有行,并输出该行的第7列
[atguigu@hadoop102 datas]$ awk -F: '/^root/{print $7}' passwd
/bin/bash
搜索passwd文件以root关键字开头的所有行,并输出该行的第1列和第7列,中间以“,”号分割 注意:只有匹配了pattern的行才会执行action
[atguigu@hadoop102 datas]$ awk -F: '/^root/{print $1","$7}' passwd
root,/bin/bash
只显示/etc/passwd的第一列和第七列,以逗号分割,且在所有行前面添加列名user,shell在最后一行添加"dahaige,/bin/zuishuai" 注意:BEGIN 在所有数据读取行之前执行;END 在所有数据执行之后执行
[atguigu@hadoop102 datas]$ awk -F : 'BEGIN{print "user, shell"} {print $1","$7} END{print "dahaige,/bin/zuishuai"}' passwd
user, shell
root,/bin/bash
bin,/sbin/nologin
。。。
atguigu,/bin/bash
dahaige,/bin/zuishuai
将passwd文件中的用户id增加数值1并输出
[atguigu@hadoop102 datas]$ awk -v i=1 -F: '{print $3+i}' passwd
1
2
3
4
awk的内置变量:
- FILENAME 文件名
- NR 已读的记录数
- NF 浏览记录的域的个数(切割后,列的个数)
统计passwd文件名,每行的行号,每行的列数
[atguigu@hadoop102 datas]$ awk -F: '{print "filename:" FILENAME ", linenumber:" NR ",columns:" NF}' passwd
filename:passwd, linenumber:1,columns:7
filename:passwd, linenumber:2,columns:7
filename:passwd, linenumber:3,columns:7
切割IP
[atguigu@hadoop102 datas]$ ifconfig eth0 | grep "inet addr" | awk -F: '{print $2}' | awk -F " " '{print $1}'
192.168.1.102
查询sed.txt中空行所在的行号
[atguigu@hadoop102 datas]$ awk '/^$/{print NR}' sed.txt
5
4.sort
sort命令是在Linux里非常有用,它将文件进行排序,并将排序结果标准输出
sort(选项)(参数)
选项:
- -n 依照数值的大小排序
- -r 以相反的顺序来排序
- -t 设置排序时所用的分隔字符
- -k 指定需要排序的列
参数:指定待排序的文件列表
数据准备
[atguigu@hadoop102 datas]$ touch sort.sh
[atguigu@hadoop102 datas]$ vim sort.sh
bb:40:5.4
bd:20:4.2
xz:50:2.3
cls:10:3.5
ss:30:1.6
按照“:”分割后的第三列倒序排序
[atguigu@hadoop102 datas]$ sort -t : -nrk 3 sort.sh
bb:40:5.4
bd:20:4.2
cls:10:3.5
xz:50:2.3
ss:30:1.6