一:第一个shell脚本
1.输出helloworld
(1)第一步:创建一个 .sh空文件
touch helloworld.sh
(2)第二步:vim打开文件,编写脚本文件
vim helloworld.sh
#!/bin/bash echo "helloworld!!!"
(3)脚本的执行
1):第一种:采用bash或sh+脚本的相对路径或绝对路径(不用赋予脚本+x权限) sh+脚本的相对路径
sh+相对路径:[root@master shells]# sh helloworld.sh sh+绝对路径:[root@master shells]# sh /root/shells/helloworld.sh
2): 第二种:采用输入脚本的绝对路径或相对路径执行脚本(必须具有可执行权限+x) (a)首先要赋予helloworld.sh 脚本的+x权限
chmod 744 helloworld.sh
(b)执行脚本
相对路径:[root@master shells]# ./helloworld.sh 绝对路径:[root@master shells]# /root/shells/helloworld.sh
注意:第一种执行方法,本质是bash解析器帮你执行脚本,所以脚本本身不需要执行权限。第二种执行方法,本质是脚本需要自己执行,所以需要执行权限。
二:变量
1.系统预定义变量
1)常用预定义变量(了解)
$HOME $PWD $USET
2)显示当前Shell中所有变量:set
2.自定义变量(临时的,程序重启后消失)
1)基本语法 (1)定义变量:变量=值 (2)撤销变量:unset 变量 (3)声明静态变量:readonly变量,注意:不能unset,不能修改 2)变量定义规则 (1)变量名称可以由字母、数字和下划线组成,但是不能以数字开头,环境变量名建议大写。 (2)等号两侧不能有空格 (3)在bash中,变量默认类型都是字符串类型,无法直接进行数值运算。 (4)变量的值如果有空格,需要使用双引号或单引号括起来。
3)案例
[root@master shells]# A=2 [root@master shells]# echo $A 2 [root@master shells]# unset A
注意:在bash中,变量默认类型都是字符串类型,无法直接进行数值运算
[root@master shells]# readonly a=1+2 [root@master shells]# echo $a 1+2
变量的值如果有空格,需要使用双引号或单引号括起来
[root@master shells]# b="h v n" [root@master shells]# echo $b h v n
export:可把变量提升为全局环境变量,可供其他Shell程序使用
未用export时,A并未输出 [root@master shells]# sh helloworld.sh helloworld!!! 用export时,A可以输出 [root@master shells]# export A [root@master shells]# sh helloworld.sh helloworld!!! 22
2.特殊变量
(1)$n
1)基本语法 $n (功能描述:n为数字,$0代表该脚本名称,$1-$9代表第一到第九个参数,十以上的参数,十以上的参数需要用大括号包含,如${10})
2)实例
[root@master shells]# vim param.sh #!/bin/bash echo $0 echo $1 echo $2 [root@master shells]# [root@master shells]# chmod 777 param.sh [root@master shells]# ./param.sh 1 2 ./param.sh 1 2
(2)$# : 传入参数的个数
1)基本语法 $# (功能描述:获取所有输入参数个数,常用于循环)
(3)$@ / $*
1)基本语法 $* (功能描述:这个变量代表命令行中所有的参数,$把所有的参数看成一个整体) $@ (功能描述:这个变量也代表命令行中所有的参数,不过$@把每个参数区分对待) 注意:如果想让$和$@ 体现区别必须用双引号括起来才生效
(4)$?
1)基本语法 $? (功能描述:最后一次执行的命令的返回状态。如果这个变量的值为0,证明上一个命令正确执行;如果这个变量的值为非0(具体是哪个数,由命令自己来决定),则证明上一个命令执行不正确了。)
[root@master shells]# ./helloworld.sh helloworld!!! 22 0
三:运算符和条件判断
1.运算
“$((运算式))”或“$[运算式]”
[root@master shells]# echo $((1+2)) 3 [root@master shells]# echo $[1+2] 3
2.条件判断
1)基本语法
(1)test condition (2)[ condition ](注意condition前后要有空格) 注意:条件非空即为true,[ a ]返回true,[] 返回false。
0为TRUE
1为FALSE
2)常用判断条件
(1)两个整数之间比较
符号 | 表示结果 |
---|---|
-eq (equal) | 等于 |
-lt (less than) | 小于 |
-gt(greater than) | 大于 |
-le (less equal) | 小于等于 |
-ge (greater equal) | 大于等于 |
-ne (Not equal) | 不等于 |
[root@master shells]# [ 100 -eq 200 ] [root@master shells]# echo $? 1
(2)按照文件权限进行判断 -r 有读的权限(read)
-w 有写的权限(write)
-x 有执行的权限(execute)
(3)按照文件类型进行判断 -f 文件存在并且是一个常规的文件(file)
-e 文件存在(existence)
-d 文件存在并是一个目录(directory)
(4)多条件判断(&& 表示前一条命令执行成功时,才执行后一条命令,|| 表示上一条命令执行失败后,才执行下一条命令)
四:流程控制
(1) if判断
1)基本语法
if [ 条件判断式 ] then 程序 elif [ 条件判断式 ] then 程序 else 程序 fi
2)注意事项:
(1)[ 条件判断式 ],中括号和条件判断式之间必须有空格 (2)if后要有空格
#!/bin/bash if [ $1 -eq 1 ] then echo "helloworld" elif [ $1 -eq 2 ] then echo "hello" else [ $1 -eq 3 ] echo "world" fi [root@master shells]# sh iftest 1 helloworld [root@master shells]# sh iftest 3 world
(2)case语句
1)基本语法
case $变量名 in "值1") 如果变量的值等于值1,则执行程序1 ;; "值2") 如果变量的值等于值2,则执行程序2 ;; …省略其他分支… ) 如果变量的值都不是以上的值,则执行此程序 ;; esac 注意事项: (1)case行尾必须为单词“in”,每一个模式匹配必须以右括号“)”结束。 (2)双分号“;;”表示命令序列结束,相当于java中的break。 (3)最后的“)”表示默认模式,相当于java中的default。
2)案例实操
输入一个数字,如果是1,则输出banzhang,如果是2,则输出cls,如果是其它,输出renyao。
[atguigu@hadoop101 datas]$ touch case.sh [atguigu@hadoop101 datas]$ vim case.sh !/bin/bash case $1 in "1") echo "banzhang" ;; "2") echo "cls" ;; *) echo "renyao" ;; esac [atguigu@hadoop101 datas]$ chmod 777 case.sh [atguigu@hadoop101 datas]$ ./case.sh 1 1
(3)for循环
1)基本语法1
for (( 初始值;循环控制条件;变量变化 )) do 程序 done
#!/bin/bash #求100以内的和 sum=0 for((i=0;i<=100;i++)) do sum=$[$sum+$i] done echo "结果:$sum" 执行: [root@master shells]# sh for 结果:5050
2)基本语法2(在此可以看出$*/$@的区别)
for 变量 in 值1 值2 值3… do 程序 done
(1)打印所有输入参数,比较$*和$@区别
当不加“ ”,输出的结果一样
当加“ ”,$*把所有的参数看成一个整体,
$@把每个参数区分对待
[root @mas#!/bin/bash for i in $* do echo "你好:$i" done for j in $@ do echo "你好:$j" done for i1 in "$*" do echo "你好:$i1" done for j1 in "$@" do echo "你好:$j1" doneter shells]# sh for1 1 2 3 4 你好:1 你好:2 你好:3 你好:4 你好:1 你好:2 你好:3 你好:4 你好:1 2 3 4 你好:1 你好:2 你好:3 你好:4
(4)while循环
1)基本语法
while [ 条件判断式 ] do 程序 done
#!/bin/bash s=0 i=1 while [ $i -le 100 ] do s=$[$s+$i] i=$[$i+1] done echo $s
(5)read读取控制台输入
1)基本语法 read(选项)(参数) 选项: -p:指定读取值时的提示符; -t:指定读取值时等待的时间(秒)。 参数 变量:指定读取值的变量名
五:系统函数
1. basename : 获取文件名
1)基本语法
basename [string / pathname] [suffix] (功能描述:basename命令会删掉所有的前缀包括最后一个(‘/’)字符,然后将字符串显示出来。 选项: suffix为后缀,如果suffix被指定了,basename会将pathname或string中的suffix去掉。
2)案例实操
截取该/home/atguigu/banzhang.txt路径的文件名称 [atguigu@hadoop101 datas]$ basename /home/atguigu/banzhang.txt banzhang.txt [atguigu@hadoop101 datas]$ basename /home/atguigu/banzhang.txt .txt banzhang
2 .dirname :获取文件路径
1)基本语法
dirname 文件绝对路径 (功能描述:从给定的包含绝对路径的文件名中去除文件名(非目录的部分),然后返回剩下的路径(目录的部分))
2)案例实操
获取banzhang.txt文件的路径 [atguigu@hadoop101 ~]$ dirname /home/atguigu/banzhang.txt /home/atguigu
3.自定义函数
1)基本语法
#定义函数 [ function ] funname[()] #方括号可以省略 { Action; [return int;] #返回的是int型 } #调用函数 funname
2)经验技巧
(1)必须在调用函数地方之前,先声明函数,shell脚本是逐行运行。不会像其它语言一样先编译。 (2)函数返回值,只能通过$?系统变量获得,可以显示加:return返回,如果不加,将以最后一条命令运行结果,作为返回值。return后跟数值n(0-255)
3)案例实操
计算两个输入参数的和
#!/bin/bash #定义函数 total=0 function sum() { total=$[ $1 + $2 ]; echo "$total" } #动态输入函数 read -p "输入第一个数字:" n1; read -p "输入第一个数字:" n2; #调用函数 sum $n1 $n2; 执行: [root@master shells]# sh sum.sh 输入第一个数字:12 输入第一个数字:22 34
六:正则表达式
1)特殊字符:^ : ^ 匹配一行的开头,
例如: [atguigu@hadoop102 datas]$ cat /etc/passwd | grep ^a 会匹配出所有以a开头的行
2)特殊字符:$ :$ 匹配一行的结束
例如 [atguigu@hadoop102 datas]$ cat /etc/passwd | grep t$ 会匹配出所有以t结尾的行 思考:^$ 匹配什么?
3)特殊字符:. : . 匹配一个任意的字符,
例如 [atguigu@hadoop102 datas]$ cat /etc/passwd | grep r..t 会匹配包含rabt,rbbt,rxdt,root等的所有行
4)特殊字符:*
不单独使用,他和左边第一个字符连用,表示匹配上一个字符0次或多次,例如 [atguigu@hadoop102 datas]$ cat /etc/passwd | grep rot 会匹配rt, rot, root, rooot, roooot等所有行 思考:. 匹配什么?
5)特殊字符:[ ]
[ ] 表示匹配某个范围内的一个字符,例如 [6,8]------匹配6或者8 [a-z]------匹配一个a-z之间的字符 [a-z]⁎-----匹配任意字母字符串 [a-c, e-f]-匹配a-c或者e-f之间的任意字符 [atguigu@hadoop102 datas]$ cat /etc/passwd | grep r[a,b,c]*t 会匹配rat, rbt, rabt, rbact等等所有行
6)特殊字符:\
\ 表示转义,并不会单独使用。由于所有特殊字符都有其特定匹配模式,当我们想匹配某一特殊字符本身时(例如,我想找出所有包含 '$' 的行),就会碰到困难。此时我们就要将转义字符和特殊字符连用,来表示特殊字符本身,例如 [atguigu@hadoop102 datas]$ cat /etc/passwd | grep a∖$b
注意:直接匹配 $ 字符,需要进行转义并且加上单引号 就会匹配所有包含 a$b 的行。
AWK
一个强大的文本分析工具,把文件逐行的读入,以空格为默认分隔符将每列切片,切开的部分再进行分析处理。
1)基本用法
awk [选项参数] ‘pattern1{action1} pattern2{action2}...’ filename
pattern:表示AWK在数据中查找的内容,就是匹配模式
action:在找到匹配内容时所执行的一系列命令
2)选项参数说明
选项参数 | 功能 |
---|---|
-F | 指定输入文件列分隔符 |
-v | 赋值一个用户定义变量 |
3)案例实操
(1)数据准备
[root@master datas]$ sudo cp /etc/passwd ./
(2)搜索passwd文件以root关键字开头的所有行,并输出该行的第7列。
[root@master datas]$ awk -F: '/^root/{print $7}' passwd
/bin/bash
(3)搜索passwd文件以root关键字开头的所有行,并输出该行的第1列和第7列,中间以“,”号分割。
[root@master datas]$ awk -F: '/^root/{print $1","$7}' passwd
root,/bin/bash
注意:只有匹配了pattern的行才会执行action
(4)只显示/etc/passwd的第一列和第七列,以逗号分割,且在所有行前面添加列名user,shell在最后一行添加"laoxing,/home/laoxing"。
[root@master datas]$ awk -F : 'BEGIN{print "user, shell"} {print $1","$7} END{print "laoxing,/home/laoxing"}' passwd
user, shell
root,/bin/bash
bin,/sbin/nologin
。。。
root,/bin/bash
laoxing,/home/laoxing
注意:BEGIN 在所有数据读取行之前执行;END 在所有数据执行之后执行。
sort
sort命令是在Linux里非常有用,它将文本进行排序,并将排序结果标准输出。
1)基本语法
sort(选项)(参数)
选项 | 说明 |
---|---|
-n | 依照数值的大小排序 |
-r | 以相反的顺序来排序 |
-t | 设置排序时所用的分隔字符 |
-k | 指定需要排序的列 |
-o |
参数:指定待排序的文件列表
1. sort:(不带参数)
[root@root ~]$ cat seq.txt banana apple pear orange [root@root ~]$ sort seq.txt apple banana orange pear
2. sort的-u选项
它的作用很简单,就是在输出行中去除重复行
[root@master ~]$ cat seq.txt banana apple pear orange pear [root@master ~]$ sort seq.txt apple banana orange pear pear [root@master ~]$ sort -u seq.txt apple banana orange pear
3. sort的-r选项
sort默认的排序方式是升序,如果想改成降序,就加个-r就搞定了
[root@root ~]$ sort number.txt 1 2 3 4 5 [root@root ~]$ sort -r number.txt 5 4 3 2 1
4. sort的-o选项
由于sort默认是把结果输出到标准输出,所以需要用重定向才能将结果写入文件,形如sort filename > newfile。
[root@root ~]$ sort -r number.txt -o number.txt [root@root ~]$ cat number.txt 5 4 3 2 1
5. sort的-n选项
按数值排序
[root@root ~]$ sort -n number.txt 1 2 5 10 11 19
6. sort的-t选项和-k选项
如果有一个文件的内容是这样:
[root@root ~]$ cat facebook.txt banana:30:5.5 apple:10:2.5 pear:90:2.3 orange:20:3.4
需求:以水果数量来排序,也就是以第二列来排序,如何利用sort实现?
[root@master ~]$ sort -n -k 2 -t : facebook.txt apple:10:2.5 orange:20:3.4 banana:30:5.5 pear:90:2.3
7. sort其他选项
-f 会将小写字母都转换为大写字母来进行比较,亦即忽略大小写
-c 会检查文件是否已排好序,如果乱序,则输出第一个乱序的行的相关信息,最后返回1
-C 会检查文件是否已排好序,如果乱序,不输出内容,仅返回1
-M 会以月份来排序,比如JAN小于FEB等等
-b 会忽略每一行前面的所有空白部分,从第一个可见字符开始比较
需求实践
$ cat facebook.txt google 110 5000 baidu 100 5000 guge 50 3000 sohu 100 4500
第一个域是公司名称,第二个域是公司人数,第三个域是员工平均工资
-
让这个文件按公司的字母排序
$ sort -t ' ' -k 1 facebook.txt baidu 100 5000 google 110 5000 guge 50 3000 sohu 100 4500
-
让facebook.txt按照公司人数排序
sort -n -t ' ' -k 2 facebook.txt guge 50 3000 baidu 100 5000 sohu 100 4500 google 110 5000
-
facebook.txt按照公司人数排序 ,人数相同的按照员工平均工资升序排序
sort -n -t ' ' -k 2 -k 3 facebook.txt guge 50 3000 sohu 100 4500 baidu 100 5000 google 110 5000
-
让facebook.txt按照员工工资降序排序,如果员工人数相同的,则按照公司人数升序排序
$ sort -n -t ' ' -k 3r -k 2 facebook.txt baidu 100 5000 google 110 5000 sohu 100 4500 guge 50 3000
cut
cut的工作就是“剪”,具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。
1)基本用法
cut [选项参数] filename
说明:默认分隔符是制表符
2)选项参数说明
选项参数 | 功能 |
---|---|
-f | 列号,提取第几列 |
-d | 分隔符,按照指定分隔符分割列 |
-c | 指定具体的字符 |
3)案例实操
-
数据准备
[root@master datas]$ touch cut.txt
[root@master datas]$ vim cut.txt
dong shen
guan zhen
wo wo
lai lai
le le
-
切割cut.txt第一列
[root@master datas]$ cut -d " " -f 1 cut.txt
dong
guan
wo
lai
le
-
切割cut.txt第二、三列
[root@master datas]$ cut -d " " -f 2,3 cut.txt
shen
zhen
wo
lai
le
-
在cut.txt文件中切割出guan
[root@master datas]$ cat cut.txt | grep "guan" | cut -d " " -f 1
guan
-
选取系统PATH变量值,第2个“:”开始后的所有路径:
[root@master datas]$ echo $PATH
/usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/root/bin
[root@hadoop102 datas]$ echo $PATH | cut -d: -f 2-
/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/root/bin
-
切割ifconfig 后打印的IP地址
[root@master datas]$ ifconfig eth0 | grep "inet addr" | cut -d: -f 2 | cut -d" " -f1
192.168.1.102
正则字符
1)特殊字符:^
^ 匹配一行的开头,例如:
[root@master datas]$ cat /etc/passwd | grep ^a
会匹配出所有以a开头的行
2)特殊字符:$
$ 匹配一行的结束,例如
[root@master datas]$ cat /etc/passwd | grep t$
会匹配出所有以t结尾的行
思考:^$ 匹配什么?
3)特殊字符:.
. 匹配一个任意的字符,例如
[root@master datas]$ cat /etc/passwd | grep r..t
会匹配包含rabt,rbbt,rxdt,root等的所有行
4)特殊字符:*
* 不单独使用,他和左边第一个字符连用,表示匹配上一个字符0次或多次,例如
[root@master datas]$ cat /etc/passwd | grep ro*t
会匹配rt, rot, root, rooot, roooot等所有行
思考:.* 匹配什么?
5)特殊字符:[ ]
[ ] 表示匹配某个范围内的一个字符,例如
[6,8]------匹配6或者8
[a-z]------匹配一个a-z之间的字符
[a-z]*-----匹配任意字母字符串
[a-c, e-f]-匹配a-c或者e-f之间的任意字符
[root@master datas]$ cat /etc/passwd | grep r[a,b,c]*t
会匹配rat, rbt, rabt, rbact等等所有行
6)特殊字符:
\ 表示转义,并不会单独使用。由于所有特殊字符都有其特定匹配模式,当我们想匹配某一特殊字符本身时(例如,我想找出所有包含 '$' 的行),就会碰到困难。此时我们就要将转义字符和特殊字符连用,来表示特殊字符本身,例如
[root@master datas]$ cat /etc/passwd | grep a$b
注意:直接匹配 $ 字符,需要进行转义并且加上单引号
就会匹配所有包含 a$b 的行。