【尚硅谷笔记】大数据之Shell脚本入门

最新推荐文章于 2024-03-23 10:02:18 发布

weixin_46725306

最新推荐文章于 2024-03-23 10:02:18 发布

阅读量623

点赞数 3

文章标签：大数据 big data

原文链接：https://www.bilibili.com/video/BV1hW41167NW?p=1

版权

为什么要学习shell？

1.需要看懂运维人员编写的Shell程序。

2.偶尔会编写一些简单的Shell程序来管理集群、提高开发效率。

什么是Shell？

1.Shell是一个命令行解释器，它接收应用程序/用户命令，然后调用操作系统内核。

2.Shell还是一个功能相当强大的编程语言，易编写、易调试、灵活性强。

1. Shell解析器

（1）Linux提供的Shell解析器有：cat /etc/shells

/bin/sh
/bin/bash
/sbin/nologin
/bin/dash
/bin/tcsh
/bin/csh

（2）Centos默认的解析器是bash：echo $SHELL

/bin/bash

2.Shell脚本入门

（1）脚本格式：脚本以 #!/bin/bash 开头（指定解析器，默认的，可以不写）

（2）直接输出helloworld：echo "helloworld"。

案例1：创建一个Shell脚本，输出helloworld。

编写脚本：vi helloworld.sh
```
#!/bin/bash
echo "helloworld"
```
执行脚本：

bash或sh 脚本的相对路径或绝对路径：

sh或bash /home/helloworld.sh

sh或bash helloworld.sh
脚本的绝对路径或相对路径（必须具有可执行权限）：

./helloworld.sh

/home/helloworld.sh

知识拓展：

第一种执行方法本质是bash解析器执行脚本，所以脚本本身不需要执行权限。第二种执行方法本质是脚本需要自己执行，所以需要执行权限。

pwd 查看目录 mkdir 创建文件夹 touch 新建文件 cat 查看内容

权限不够修改办法：chmod 777 helloworld.sh（最高权限）

案例2：在/home/pqh/datas/目录下创建一个hobby.txt,在hobby.txt文件中增加“I love math”。

编写脚本：vim batch.txt

#!/bin/bash
touch /home/pqh/datas/hobby.txt
echo "I love math" >> hobby.txt

执行脚本：bash batch.sh

3.Shell中的变量

常用系统变量：$HOME(目录)、$PWD(目录)、$SHELL(解析器)、$USER(当前用户)等。
自定义变量：
- 定义变量：变量=值（等号左右不能有空格）
- 撤销变量：unset 变量
- 声明静态变量：readonly 变量，注意：不能unset。
- 声明全局变量：export 变量

知识拓展：

变量名称可以由字母、数字和下划线组成，但不能以数字开头，环境变量名建议大写。

在bash中，变量默认类型都是字符串类型，无法直接进行数值运算。

变量的值如果有空格，需要使用双引号或单引号括起来。

案例1：把变量提升为全局环境变量，可供其他Shell程序使用。

定义变量：export D="today is Friday"
编写脚本：vim helloworld.sh
```
#!/bin/bash
echo "helloworld"
echo $D
```
执行脚本：sh helloworld.sh

特殊变量：
- $n：n为数字，$0代表该脚本名称，$1-$9代表第一到第九个参数，十以上的参数，十以上的参数需要用大括号包含，如${10}。
- $#：获取所有输入参数个数，常用于循环。
- $*：代表命令行中所有的参数，它把所有的参数看成一个整体。
- $@：代表命令行中所有的参数，它把每个参数区分对待。
- $?：最后一次执行的命令的返回状态。如果为0，表示上一条命令执行正确；为非0，则上一条命令执行不正确。

案例2：输出该脚本文件名称、输入参数1和输入参数2的值，获取输入参数的个数和所有输入参数的值，判断最后一条命令是否正确执行。

编写脚本：vim parameter.sh

#!/bin/bash
echo "$0 $1 $2"
echo $#
echo $*
echo $@
echo $?

执行脚本：sh parameter.sh food fruit water

输出：
parameter.sh food fruit
3
food fruit water
food fruit water
0

4.运算符

基本语法：
- $((运算式)) 或 $[运算式]
- expr +(加)、-(减)、\*(乘)、/(除)、%(取余)（expr运算符间要有空格）

案例：计算（2+3）*4的值。（三种方法计算）

expr `expr 2 + 3` \* 4

s=$[(2+3)*4]
echo $s

s=$(((2+3)*4))
echo $s

5.条件判断

基本语法：[ condition ]（condition前后要有空格）

注意：条件非空即为true，[ pqh ]返回true，[]返回false。

多条件判断：[ condition ] && echo OK || echo notok
- &&：上一条命令执行成功时，才执行下一条命令。
- ||：上一条命令执行失败后，才执行下一条命令。
常用判断条件：
- 两个整数之间比较：
  - =：字符串比较
  - -lt：小于（less than）
  - -le：小于等于（less equal）
  - -eq：等于（equal）
  - -gt：大于（greater than）
  - -ge：大于等于（greater equal）
  - -ne：不等于（not equal）
- 按照文件权限进行判断：
  - -r：有读的权限（read）
  - -w：有写的权限（write）
  - -x：有执行的权限（execute）
- 按照文件类型进行判断：
  - -f：文件存在并且是一个常规的文件（file）
  - -e：文件存在（existence）
  - -d：文件存在并是一个目录（directory）

案例1：23是否大于等于22。

[ 23 -ge 22 ]
echo $?

案例2：helloworld.sh是否具有写权限。

[ -w helloworld.sh ]
echo $?

案例3：/home/pqh/datas/math.txt目录中的文件是否存在。

[ -e /home/pqh/datas/math.txt ]
echo $?

6.流程控制

if判断
- 基本语法：
```
if [ 条件判断式 ];then
    程序
fi
或者
if [ 条件判断式 ]
then
    程序
fi
```
注意事项：
1. 中括号和条件判断式之间必须有空格。
2. if后要有空格。

案例1：输入一个数字，如果是1，则输出one，如果是2，则输出two，如果是其他，则什么都不输出。

#!/bin/bash
if [ $1 = 1 ]
then 
    echo one
elif [ $1 = 2 ]
then
    echo two
fi

case语句
- 基本语法
```
case $变量名 in
"值1")
    程序1
    ;;
"值2")
    程序2
    ;;
*)
    变量都不是以上值，则执行此程序
    ;;
esac
```
注意事项：
1. case行尾必须为单词“in”，每个模式匹配必须以“）”结束。
2. 双分号“;;”表示命令序列结束，相当于java的break。
3. 最后的“*）”表示默认模式，相当于java中的default。

案例2：输入一个数字，如果是1，则输出one，如果是2，则输出two，如果是其他，则输出number。

#!/bin/bash
case $1 in
1)
    echo one
;;
2)
    echo two
;;
*)
    echo number
;;
esac

for循环

基本语法：

for((初始值;循环控制;条件变量变化))
do
    程序
done
或
for 变量 in 值1 值2 值3
do
    程序
done

案例3：从1加到100。

#!/bin/bash
sum=0
for(( i=1;i<=100;i++ ))
do
    sum=$[sum+i]
done

echo $sum

案例4：打印所有输入参数。

#!/bin/bash
for i in "$*"
do
    echo $i
done

for j in "$@"
do
    echo $j
done

输出：
[pqh@localhost datas]$ sh for2.sh 1 2 3
1 2 3
1
2
3

while循环
- 基本语法
```
while [ 条件判断式 ]
do
    程序
done
```
注意事项：中括号和条件判断式之间必须有空格。

案例5：从1加到100.

#!/bin/bash
sum=0
i=1
while [ $i -le 100 ]
do
    sum=$[sum+i]
    i=$[i+1]
done

echo $sum

7.read读取控制台输入（重点）

基本语法：read(选项)(参数)
- 选项
  - -p：指定读取时的提示符。
  - -t：指定读取值时等待的时间（秒）
- 参数：变量（指定读取值的变量名）

案例：提示7秒内，读取控制台输入的名称。

#!/bin/bash
read -t 7 -p "Enter your name:" NAME
echo $NAME

输出：
[pqh@localhost datas]$ sh read.sh 
Enter your name:pqh
pqh

8.函数

系统函数
- basename命令：删掉所有的前缀包括最后一个'/'字符，然后将字符串显示出来。
  - 基本语法：basename [string/pathname][suffix]
  注意事项：suffix为后缀，如果suffix被指定了，basename会将pathname或string中的suffix去掉。
- dirname命令：从给定的包含绝对路径的文件名中去除文件名（非目录的部分），然后返回剩下的路径。
  - 基本语法：dirname 文件绝对路径

案例1：截取/home/pqh/datas/helloworld.txt路径的文件名称。

[pqh@localhost datas]$ basename /home/pqh/datas/helloworld.sh .sh
helloworld

案例2：获取helloworld.txt的路径。

[pqh@localhost datas]$ dirname /home/pqh/datas/helloworld.sh 
/home/pqh/datas

自定义函数：
- 基本语法：
```
[function] funname[()]
{
    Action;
    [return int;]
}
funname
```
注意事项：
1. 在调用函数之前必须先声明函数，shell脚本是逐行运行，不会像其他语言一样先编译。
2. 函数返回值，只能通过&?系统变量获得，可以显示加：return 返回，如果不加，将以最后一条命令运行结果，作为返回值。return后跟数值n（0-225）。

案例3：计算两个输入参数的和。

#!/bin/bash
function sum()
{
    s=$[$1+$2]
    echo $s
}

read -p "Enter parameter1:" P1
read -p "Enter parameter2:" P2

sum P1 P2

输出：
[pqh@localhost datas]$ sh function.sh 
Enter parameter1:2
Enter parameter2:3
5

9.Shell工具（重点）

cut：从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。
- 基本用法：cut[选项参数] filename（默认分隔符是制表符）
- 选项参数：
  - -f：列号，提取第几列。
  - -d：分隔符，按照指定分隔符分割列。

cut.txt数据准备：
dong shen
guan zhen
wo  wo
lai  lai
le  le

案例1：切割cut.txt第二、三列。

cut -d " " -f 2,3 cut.txt

案例2：在cut.txt文件中切割出guan。

cat cut.txt | grep guan | cut -d " " -f 1

案例3：选取系统PATH变量值，第2个“：”开始后的所有路径。

echo $PATH | cut -d ":" -f 3-

案例4：切割ifconfig后打印的IP地址。

ifconfig ens33 | grep "inet 192" | cut -d " "  -f 10

sed：一种流编辑器，一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕，接着处理下一行，不断重复直到文件末尾。文件内容并没有改变，除非使用重定向存储输出。
- 基本语法：sed[选项参数] 'command' filename
- 选项参数：
  - -e：直接在指令列模式上进行sed的动作编辑。
- 命令功能：
  - a：新增，a的后面可以接字串，在下一行出现。
  - d：删除。
  - s：查找并替换。

sed.txt数据准备：
dong shen
guan zhen
wo  wo
lai  lai

le  le

案例5：将“zhong guo”这个单词插入到sed.txt第二行下，打印。

sed "2a zhong guo" sed.txt

案例6：删除sed.txt文件所有包含wo的行。

sed '/wo/d' sed.txt

案例7：将sed.txt文件中的wo替换为ni。

sed 's/wo/ni/g' sed.txt

注意事项：加g（global）表示全部替换，不加只替换第一个。

案例8：将sed.txt文件中的第二行删除并将wo替换为ni。

sed -e '2d' -e 's/wo/ni/g' sed.txt

awk：一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行分析处理。
- 基本用法：awk[选项参数] ‘pattern1{action1} pattern2{action2}···' filename
  - pattern：表示AWk在数据中查找的内容，就是匹配模式。
  - action：在找到匹配内容时所执行的一系列命令。
  注意：只有匹配了pattern的行才会执行action。
- 选项参数：
  - -F：指定输入文件折分隔符。
  - -v：赋值一个用户定义变量。
- action内置变量：
  - FILENAME：文件名。
  - NR：已读的记录数。
  - NF：浏览记录的域的个数。

数据准备：
sudo cp /etc/passwd ./

语句意思：将etc目录下的passwd拷贝到当前路径下。

案例9：搜索passwd文件以root关键字开头的所有行，并输出该行的第1列和第7列，中间以“，”分割。

awk -F : '/^root/{print $1","$7}' passwd

案例10：只显示/etc/passwd的第一列和第七列，以逗号分割，且在所有行前面添加列名user，shell，在最后一行添加“hello，world”。

awk -F : 'BEGIN{print "user,shell"} {print $1","$7} END{print "hello,world"}' passwd

案例11：将passwd文件中的用户id增加数值1并输出。

awk -F : -v i=1 '{print $3+i}' passwd

案例12：统计passwd文件名，每行的行号，每行的列数。

awk -F : '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF}' passwd

案例13：切割IP。

ifconfig ens33 | grep "inet 192" | awk -F " " '{print $2}'

案例14：查询sed.txt中空行所在的行号。

awk '/^$/{print NR}' sed.txt

sort：将文件进行排序，并将排序结果标准输出。
- 基本语法：sort(选项)(参数)
- 选项：
  - -n：依照数值的大小排序。
  - -r：以相反的顺序排序。
  - -t：设置排序时所用的分隔字符。
  - -k：指定需要排序的列。

数据准备：
bb:40:5.4
bd:20:4.2
xz:50:2.3
sx:10:3.5
ss:30:1.6

案例15：按照“：”分割后的第三列倒序排序。

sort -t : -nrk 3 sort.sh

weixin_46725306

关注

3
点赞
踩
17

收藏

觉得还不错? 一键收藏
0
评论
【尚硅谷笔记】大数据之Shell脚本入门

创建、编写和使用Shell脚本时用到的一些基础命令和语法
复制链接

扫一扫