Linux-大数据（11.Shell编程）学习笔记

最新推荐文章于 2023-02-16 19:23:25 发布

yuan_404

最新推荐文章于 2023-02-16 19:23:25 发布

阅读量613

点赞数

分类专栏： Linux 文章标签： linux shell

本文链接：https://blog.csdn.net/weixin_44449838/article/details/108305026

版权

Linux 专栏收录该内容

12 篇文章 0 订阅

订阅专栏

1. 为什么要学习Shell编程

Linux运维工程师在进行服务器集群管理时，需要编写Shell程序来进行服务器管理。
对于JavaEE和Python程序员来说，工作的需要，你的老大会要求你编写一些Shell脚本
进行程序或者是服务器的维护，比如编写一个定时备份数据库的脚本。
对于大数据程序员来说，需要编写Shell程序来管理集群

2. Shell是什么

Shell是一个命令行解释器，它为用户提供了一个向Linux内核发送请求以便运行程序的界面系统级程序，用户可以用Shell来启动、挂起、停止甚至是编写一些程序。

3. Shell脚本的快速入门

1. 脚本格式要求

脚本以**#!/bin/bash**开头
脚本需要有可执行权限
一般来说，Shell 脚本的后缀是 .sh ，不是必须的

2. 编写一个Shell脚本

需求说明
创建一个Shell脚本，输出hello world!

新建shell 文件夹
mkdir shell
进入 shell 文件夹
cd shell
创建并编辑 shell 文件
vim myShell.sh
在 shell 文件中写入
#!/bin/bash
echo “Hello,shell~”

运行创建好的 shell 脚本
方式一：（输入脚本的绝对/相对路径）（实际使用推荐）

给 shell 文件添加可执行权限（X）
chmod 744 myShell.sh
使用相对路径执行
./myShell.sh
使用绝对路径
/root/shell/myShell.sh

在这里插入图片描述

方式二：（不给 X 权限，使用 sh+脚本）（不推荐，了解）

使用 sh+脚本
sh ./myShell.sh

4. Shell的变量

1. Shell的变量的介绍

Linux Shell 中的变量分为，系统变量和用户自定义变量。
系统变量： $H O M E 、$ PWD、 $S H E L L 、$ USER等等
比如： echo $HOME 等等…
显示当前shell中所有变量：set

2. shell变量的定义

基本语法

1. 定义变量：变量=值
2. 撤销变量：unset 变量
3. 声明静态变量：readonly变量，注意：不能unset

定义变量的规则

变量名称可以由字母、数字和下划线组成，但是不能以数字开头。
等号两侧不能有空格
变量名称一般习惯为大写

将命令的返回值赋给变量

A=`ls -la` —— 使用反引号，运行里面的命令，并把结果返回给变量A (ESC 下面那个键)
A=$(ls -la) —— 使用 $() 等价于反引号

3. 设置环境变量

基本语法

1. export 变量名=变量值 （功能描述：将shell变量输出为环境变量）
2. source 配置文件 （功能描述：让修改后的配置信息立即生效）
3. echo $变量名 （功能描述：查询环境变量的值）

4. 位置参数变量

介绍
当我们执行一个shell脚本时，如果希望获取到命令行的参数信息，就可以使用到位置参数变量
比如： ./myshell.sh 100 200 , 这个就是一个执行shell的命令行，可以在myshell 脚本中获取到参数信息
基本语法

 $n —— 功能描述：n为数字，$0代表命令本身，$1-$9代表第一到第九个参数，十以上的参数，十以上的参数需要用大括号包含，如${10}
 $* —— 功能描述：这个变量代表命令行中所有的参数，$*把所有的参数看成一个整体 
 $@ —— 功能描述：这个变量也代表命令行中所有的参数，不过$@把每个参数区分对待 
 $# —— 功能描述：这个变量代表命令行中所有参数的个数

应用实例
案例：编写一个shell脚本 myshell.sh ，在脚本中获取到命令行的各个参数信息。

5. 预定义变量

基本介绍
就是shell设计者事先已经定义好的变量，可以直接在shell脚本中使用
基本语法

$$ （功能描述：当前进程的进程号（PID））
$! （功能描述：后台运行的最后一个进程的进程号（PID））
$？（功能描述：最后一次执行的命令的返回状态。如果这个变量的值为0，证明上一个命令正确执行；如果这个变量的值为非0（具体是哪个数，由命令自己来决定），则证明上一个命令执行不正确了。）

应用实例
在一个shell脚本中简单使用一下预定义变量
- 最后一个进程执行出错
- 最后一个进程执行成功

5. 运算符

基本语法

 $((运算式)) 或 $[运算式]
 	- 必须有两层括号
 expr m + n 
	-注意expr运算符间要有空格
 expr m - n
 expr \*, /, % 乘，除，取余

应用实例
案例1：计算（2+3）X4的值

6. 条件判断

基本语法

[ condition ] -注意condition前后要有空格
- 非空返回true，可使用 $? 验证（0为true，>1为false） 
[ condition ] && echo OK || echo notok  -条件满足，执行后面的语句

常用判断条件

两个整数的比较

= 字符串比较
-lt 小于
-le 小于等于
-eq 等于
-gt 大于
-ge 大于等于
-ne 不等于

举例

按照文件权限进行判断 -r 有读的权限

-w 有写的权限
-x 有执行的权限

在这里插入图片描述

按照文件类型进行判断 -f 文件存在并且是一个常规的文件

-e 文件存在
-d 文件存在并是一个目录

在这里插入图片描述

7. 流程控制

1. if 判断

基本语法

if [ 条件判断式 ];then 
程序
fi 

或者

if [ 条件判断式 ] 
then 
程序
elif [条件判断式]
then
程序
fi

注意事项：
（1）[ 条件判断式 ]，中括号和条件判断式之间必须有空格
（2）在 then 如果不换行，就要写分号；换行就不用写
（3）推荐使用第二种方式

应用实例
案例：请编写一个shell程序，如果输入的参数，大于等于60，则输出 “及格了”，如果小于60,则输出 “不及格”

#!/bin/bash
if [ $1 -ge 60 ]
then
        echo "及格"
elif [ $1 -lt 60 ]
then
        echo "不及格"
fi

在这里插入图片描述

2. case语句

基本语法

case $变量名 in 
"值1")
如果变量的值等于值1，则执行程序1 
;; 
"值2")
如果变量的值等于值2，则执行程序2 
;; 
......
*)
如果变量的值都不是以上的值，则执行此程序
;; 
esac

应用实例
案例1 ：当命令行参数是 1 时，输出 “周一”, 是2 时，就输出"周二"，其它情况输出 “other”

#!/bin/bash
case $1 in
"1")
        echo "周一"
;;
"2")
        echo "周二" 
;; 
*)
        echo "other"
;;
esac

在这里插入图片描述

3. for循环

基本语法1

for 变量 in 值1 值2 值3… 
do 
程序
done

应用实例
案例1 ：打印命令行输入的参数

#!/bin/bash
# $* 获取所有参数，并看成一个整体
for i in "$*"
do
        echo "第i个参数为=$i"
done
echo "======================"
# $@ 获取所有参数，并看成一个整体
for i in "$@"
do
        echo "第i个参数为=$i"
done

在这里插入图片描述

基本语法2

for (( 初始值;循环控制条件;变量变化 )) 
do 
程序
done

应用实例
案例1 ：从1加到100的值输出显示 [这里可以看出$* 和 $@ 的区别]

#!/bin/bash
sum=0
for ((i=1;i<=100;i++))
do
        sum=$[$sum+$i]
done
echo "$sum"

在这里插入图片描述

4. while循环

基本语法1

while [ 条件判断式 ] 
do 
程序
done

应用实例
案例1 ：从命令行输入一个数n，统计从 1+…+ n 的值是多少？

#!/bin/bash
sum=0
i=1
while [ $i -le $1 ] 
do
        sum=$[$sum+$i]
        i=$[$i+1]
done
echo "$sum"

在这里插入图片描述

8. read读取控制台输入

基本语法

read(选项)(参数)

选项：

-p：指定读取值时的提示符；
-t：指定读取值时等待的时间（秒），如果没有在指定的时间内输入，就不再等待了。

参数

变量：指定读取值的变量名

应用实例
案例1：读取控制台输入一个num值

#!/bin/bash
#执行到这里，就会阻塞，把输入的值赋值给，最后的参数
read -p "请输入一个数" num
echo "$num"

在这里插入图片描述

案例2：读取控制台输入一个num值，在10秒内输入

#!/bin/bash
#执行到这里，就会阻塞，把输入的值赋值给，最后的参数
read -p "请输入一个数" num
echo "$num"

在这里插入图片描述

9. 函数

函数介绍
shell编程和其它编程语言一样，有系统函数，也可以自定义函数。系统函数中，
我们这里就介绍两个。
系统函数

basename基本语法

basename [pathname] [suffix] 功能：返回完整路径最后 / 的部分，常用于获取文件名
basename [string] [suffix] （功能描述：basename命令会删掉所有的前缀包括最后一个（‘/’）字符，然后将字符串显示出来。

	- suffix为后缀，如果suffix被指定了，basename会将pathname或string中的suffix去掉。

应用实例
案例1：请返回 /root/shell/test.txt 的 “test.txt” 部分

dirname基本语法

dirname 文件绝对路径 （功能描述：从给定的包含绝对路径的文件名中去除文件名（非目录的部分），然后返回剩下的路径（目录的部分））

应用实例
案例1：请返回 /root/shell/test.txt 的 /root/shell

自定义函数基本语法

[ function ] funname[()]
{
Action;
[return int;]
}
- [] 中内容可选
- 调用直接写函数名：funname [值]

应用实例
案例1：计算输入两个参数的和， getSum

#!/bin/bash
read -p "请输入n1:" n1
read -p "请输入n2:" n2
function getsum(){
        sum=$[$n1+$n2]
        echo "$n1 + $n2 = $sum"
}
#调用
getsum $n1 $n2

在这里插入图片描述

10. Shell编程综合案例（数据库的备份）（★）

需求分析

每天凌晨 2:10 备份数据库 atguiguDB 到 /data/backup/db
备份开始和备份结束能够给出相应的提示信息
备份后的文件要求以备份时间为文件名，并打包成 .tar.gz 的形式，比如：2018-03-12_230201.tar.gz
在备份的同时，检查是否有10天前备份的数据库文件，如果有就将其删除。

shell 脚本文件

#!/bin/bash

#1. 确定备份的路径
BACKUP=/data/backup/db
#2. 获取当前时间
DATETIME=$(date +%Y_%m_%d_%H%M%S)
#2.2 输出变量调试
#echo "$DATETIME"
#3. 开始备份
#3.1 输出开始备份提示
echo "============开始备份============="
#1. 确定备份的路径
BACKUP=/data/backup/db
#2. 获取当前时间
DATETIME=$(date +%Y_%m_%d_%H%M%S)
#2.2 输出变量调试
#echo "$DATETIME"
#3. 开始备份
#3.1 输出开始备份提示
echo "============开始备份============="
echo "++++备份路径为：$BACKUP/$DATETIME.tar.gz"

#3.2 数据库用户名、密码等变量,因为安全问题不在这写
#   在 /etc/my.cnf 中添加了
:>>!
	[client]
	default-character-set = utf8mb4  (字符编码)
	port = 3306	         (mysql端口号)
	host = localhost     (mysql主机名)
	user = root          (mysql用户名)
	password = '123456'  (mysql密码)
!
#3.3 定义需要备份的数据库
DATABASE=test

#3.4 创建备份路径
#  判断路径是否存在，如果路径存在就使用，没有就创建
[ -d "$BACKUP/$DATETIME" ] && echo "目录已存在，直接用"  || mkdir -p "$BACKUP/$DATETIME"
#3.5 执行 MySQL 的备份指令
#  mysqldump -u用户名 -p密码 --主机名 数据库名 | 压缩 到 （地址）
#3.5.1  [先存到一个临时目录，后面再用 tar 二次处理]
mysqldump  --defaults-extra-file=/etc/my.cnf $DATABASE > $BACKUP/$DATETIME/$DATETIME.sql
#3.5.2 进入备份文件目录
cd $BACKUP
#3.5.3 打包备份文件 把/$DATETIME/$DATETIME.sql 整个文件打包压缩
tar -zcvf $DATETIME.tar.gz $DATETIME
#3.6 删除临时文件 /$DATETIME/$DATETIME.sql
rm -rf $BACKUP/$DATETIME

#4 删除 10 天前的备份文件
echo "+++++查找并删除十天前的文件+++++"
#4.1 先按照时间找 10 天前的，且后缀为 .tar.gz 的
#4.2 -exec 后代表，强制删除，筛选出来的文件(固定写法)
find $BACKUP -mtime +10 -name "*.tar.gz" -exec rm -rf {} \;
#5 提示备份完成
echo "============备份完成============="

crontab 任务调度

10 2 * * * /root/shell/backupSQL.sh

在这里插入图片描述

执行结果

yuan_404

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
Linux-大数据（11.Shell编程）学习笔记

1. 为什么要学习Shell编程Linux运维工程师在进行服务器集群管理时，需要编写Shell程序来进行服务器管理。对于JavaEE和Python程序员来说，工作的需要，你的老大会要求你编写一些Shell脚本进行程序或者是服务器的维护，比如编写一个定时备份数据库的脚本。对于大数据程序员来说，需要编写Shell程序来管理集群2. Shell是什么Shell是一个命令行解释器，它为用户提供了一个向Linux内核发送请求以便运行程序的界面系统级程序，用户可以用Shell来启动、挂起、停止甚至是编
复制链接

扫一扫