Linux基础篇--shell脚本编程基础

Linux基础篇–shell脚本编程基础

本章内容概要
 编程基础
 脚本基本格式
 变量
 运算
 条件测试

 配置用户环境

7.1 编程基础

• 程序：指令+数据
• 程序编程风格：
    过程式：以指令为中心，数据服务于指令
    对象式：以数据为中心，指令服务于数据
• shell程序：提供了编程能力，解释执行

7.1.1 程序的执行方式

• 计算机：运行二进制指令
• 编程语言：
    低级：汇编
    高级：
     编译：高级语言–>编译器–>目标代码
      如:java,c#
     解释：高级语言–>解释器–>机器代码
      如：shell,perl,python

7.1.2 编程基本概念

• 编程逻辑处理方式：
    顺序执行
    循环执行
    选择执行
• shell编程：过程式
    编程语言的基本结构：
     各种系统命令的组合
     数据存储：变量、数组
     表达式：a+b
     语句：if

7.2 脚本基本格式

7.2.1 shell脚本基础

• shell脚本：
    包含一些命令或生命，并符合一定格式的文本文件
• 格式要求：首行shebang机制
    #!/bin/bash    使用shell编程
    #!/bin/bin/python 使用python语言编程
    #!/usr/bin/perl  使用perl语言编程
• shell脚本的用途：
   * 自动化常用命令
   * 执行系统管理和故障排除
   * 创建简单的应用程序
   * 处理文本或文件

7.2.2 创建shell脚本

• 第一步：使用文本编辑器来创建文本文件
   * 第一行必须包括shell声明序列：#!
    #!/bin/bash
   * 添加注释
    注释以#开头
• 第二步：运行脚本
   * 给予执行权限，在命令行上指定脚本的绝对或相对路径
   * 直接运行解释器，将脚本作为解释器程序的参数运行

7.2.3 脚本规范

• 脚本代码开头约定
   1、第一行一般为调用使用的语言
   2、程序名，避免更改文件名为无法找到正确的文件
   3、版本号
   4、更改后的时间
   5、作者相关信息
   6、该程序的作用，及注意事项
   7、最后是各版本的更新简要说明

7.2.4 脚本的基本结构

• 脚本的基本结构

#!SHEBANG                  shebang机制  
CONFIGURATION_VARIABLES    配置变量    
FUNCTION_DEFINITIONS       函数定义  
MAIN_CODE                  主要程序代码

示例：

#!/bin/bash
# ------------------------------------------
# Filename: hello.sh
# Revision: 1.1
# Date: 2017/06/01
# Author: wang
# Email: wang@gmail.com
# Website: www.magedu.com
# Description: This is the first script
# ------------------------------------------
# Copyright: 2017 wang
# License: GPL
echo “hello world

7.2.5 脚本调试

执行一个脚本
 首先要给文件赋予执行（x）权限
 其次要把脚本加入PATH变量路径中
 或者直接写出脚本的绝对路径或相对路径
 或者source(.) /path/to/some_script
* 检测脚本中的语法错误
  bash -n /path/to/some_script
* 调试执行
  bash -x /path/to/some_script
练习：
1、显示hello world

#!/bin/bash
echo "hello world"

7.3 变量

• 变量：命名的内存空间
    数据存储方式：
    字符：
    数值：整型，浮点型
• 变量：变量类型
    作用：
     1、数据存储格式
     2、参与的运算
     3、表示的数据范围
    类型：
     字符
     数值：整型、浮点型
     强类型：变量不经过强制转换，它永远是这个数据类型，不允许隐式的类型转换。一般定义变量时必须指定类型、参与运算必须符合类型要求；调用未声明变量会产生错误
      如：java，c#
     弱类型：语言的运行时会隐式做数据类型转换。无须指定类型，默认均为字符型；参与运算会自动进行隐式类型转换；变量无须事先定义可直接调用
      如：bash 不支持浮点数(即小数)，php
• 变量命名法则：
    1、不能使程序中的保留字：例如if, for
    2、只能使用数字、字母及下划线，且不能以数字开头
    3、见名知义
    4、统一命名规则：驼峰命名法（包括小驼峰和大驼峰）
     如：studentName；小驼峰命名，第一个单词首字母不大写，后续单词首字母全部大写
       StudentName;大驼峰命名，第一个单词首字母大写，后续单词首字母全部大写

7.3.1 bash中变量的种类

• 根据变量的生效范围等标准划分下面变量类型：
    局部变量：生效范围为当前shell进程；对当前shell之外的其它shell进程，包括当前shell的子shell进程均无效
    环境（全局）变量：生效范围为当前shell进程及其子进程
    本地变量：生效范围为当前shell进程中某代码片断，通常指函数
    只读变量：该变量只读，不能被删除，用于某些重要不能被删除的变量
    位置变量：$1, $2, …来表示，用于让脚本在脚本代码中调用通过命令行传递给它的参数
    特殊变量：$?, $0, $*, $@, $#,$$

局部变量
  生效范围为当前shell进程；对当前shell之外的其它shell进程，包括当前shell的子shell进程均无效
* 变量赋值：name=’value’,赋予的值要用’ ‘括起来
* 可以使用引用value：
  (1) 可以是直接字串; name=“root”
  (2) 变量引用：name=”$USER”
  (3) 命令引用：name=`COMMAND` name=$(COMMAND)

知识小扩展：
title=”ceo”;name=$title
echo $name;结果显示为ceo
如果把title=boss；那么echo \$name;结果显示还是ceo
因为把title=boss，就是另外开辟一个内存空间存放boss；
而name仍然指向ceo，因此当title更改赋值内容，name的赋值内容不变
* 变量引用：\${name} \$name
  ” “：弱引用，其中的变量引用会被替换为变量值
  ’ ‘：强引用，其中的变量引用不会被替换为变量值，而保持原字符串
* 显示已定义的所有变量：set

* 删除变量：unset

练习：
1、显示系统信息（包括操作系统版本、内核版本、cpu型号、内存大小、硬盘大小、ip地址、用户名、主机名）

#!/bin/bash
echo "os version is:^[[1;31m `cat /etc/centos-release`^[[m"
#^[[1;31m  ^[[m     是给输出结果添加颜色
echo "kernel version is^[[1;31m `uname -r`^[[m"
echo "cpu type is ^[[1;31m`lscpu |grep -s "Model name"|tr -s " " |cut -d: -f2`^[[m"
echo "^[[1;31m`cat /proc/meminfo |head -n1`^[[m"
echo "Disk:^[[1;31m`lsblk |grep  "^sd"|tr -s " "|cut -d" " -f1,4`^[[m"
echo "Network ip: ^[[1;31m`ifconfig ens33 |grep -w "inet"|grep -Eo '([0-9]{1,3}\.){3}[    0-9]{1,3}'|head -n1`^[[m"
echo "My username is ^[[1;31m$USER^[[m"
echo "My hostname is ^[[1;31m`hostname`^[[m"

2、编写脚本/root/bin/backup.sh，可实现每日将/etc/目录备份到/root/etcYYYY-mm-dd中

#!/bin/bash
cp -a /etc/  /root/etc`date "+%F"`

3、编写脚本/root/bin/disk.sh,显示当前硬盘分区中空间利用率最大的值

#!/bin/bash
df |grep "/dev/sd" |tr -s " " %|cut -d% -f5|sort -nr|head -n1

4、编写脚本/root/bin/links.sh,显示正连接本主机的每个远程主机的IPv4地址和连接数，并按连接数从大到小排序

#!/bin/bash
netstat -nt |tr -s " " :|cut -d: -f6 |sort|uniq -c |sort -nr

环境(全局)变量
  生效范围为当前shell进程及其子进程
* 变量声明、赋值:
  export name=VAULE
  declare -x name=VALUE
* 变量引用：$name,${name}
显示所有环境变量：
  env
  printenv
  export
  declare -x
* 删除变量：unset name

知识小扩展：
使用source . bash /path/to/some_script，可以使脚本立即生效
这三者的区别是：
bash /path/to/some_script
  调试脚本时，开启子进程运行脚本，不影响当前进程的环境变量（一般情况下，不使用source命令启用脚本）
source 脚本（相当于. 脚本）
  在当前进程中运行脚本（更改配置文件时，使用该命令），会对当前的变量产生影响。
  如果脚本运行完毕以后，对当前运行环境产生影响，这些改变会持续下去，除非手动更改回来，因此一般情况下，不推荐使用source(.)
* bash内建的环境变量：
 PATH、SHELL、USER、UID、HOME、PWD、SHLVL、LANG、MAIL、HOSTNAME、HISTSIZE、-

只读和位置变量
* 只读变量
 * 声明只读变量：
  readonly name
  declare -r name
 * 查看只读变量：
  readonly -p或declare -r
* 位置变量
  $1, $2, …：对应第1、第2等参数，shift [n]换位置
  $0: 命令本身
  $*: 传递给脚本的所有参数，全部参数合为一个字符串
  $@: 传递给脚本的所有参数，每个参数为独立字符串
  $#: 传递给脚本的参数的个数
    $@ $* 只在被双引号包起来的时候才会有差异
  set – 清空所有位置变量
当位置变量参数数量达到10以上$后面的变量需要用{}括起来，否则第10个以后的变量会被当成两个参数，如$10会被当成$1和0

7.3.2 退出状态

• 进程使用退出状态来报告成功或失败
   * 代表成功，1-255代表失败
   * $?保存最近的命令退出状态，使用echo $?查看退出状态值
  示例：
  ping -c1 -W1 hostdown &> /dev/null
  echo $?

练习
1、创建用户 设置初始口令magedu 并且初次登录提醒更改口令

#!/bin/bash
useradd $1
echo magedu |passwd --stdin $1 >> /dev/null
echo "password is changed"
passwd -e $1 >> /dev/null
echo "please change password"

2、创建模板；并且输入什么，就创建以什么为名字的模板，并且给自己加执行权限，进入文件后，光标自动放在最后一行

#!/bin/bash
#Date:2018-08-02
name=yuandangsheng
qq=957464230
cat > $1 <<EOF
#!/bin/bash
#Author:        $name
#QQ:            $qq
#Date:          `date  "+%F %T"`
#Filename       $1
#URL            http://www.magedu.com

EOF
chmod a+x $1
vim + $1

 退出状态码
* bash自定义退出状态码
exit [n]：自定义退出状态码
注意：脚本中一旦遇到exit命令，脚本会立即终止；终止退出状态取决于exit命令后面的数字
注意：如果未给脚本指定退出状态码，整个脚本的退出状态码取决于脚本中执行的最后一条命令的状态码

7.4 算术运算

• bash中的算术运算：help let（查看let用法帮助）
    +, -, *, /, %取模（取余）, **（乘方）
    实现算术运算：
    (1) let var=算术表达式
    (2) var=$[算术表达式]
    (3) var=$((算术表达式))
    (4) var=$(expr arg1 arg2 arg3 …)
    (5) declare –i var = 数值
    (6) echo ‘算术表达式’ | bc
• 乘法符号有些场景需要转移，如*
• bash有内建的随机数生成器：$RANDOM(0-32767)
   echo $[$RANDOM%50] ：0-49之间随机数(50%是指50取余，余数为0-49)

赋值
* 增强型赋值：
  +=,-=,*=,/=,%=
* let varPOERvalue
  例如：let count+=3 自加3后自赋值
*自增，自减：
  let var+=1
  let var++
  let var-=1
  let var–

练习
1、编写脚本/root/bin/sumid.sh，计算/etc/passwd文件中的第10个用户和第20用户的ID之和

#!/bin/bash
uid10=`cat /etc/passwd |head -n10 |tail -n1|cut -d: -f3`
uid20=`cat /etc/passwd |head -n20 |tail -n1|cut -d: -f3` 
echo $[uid10+uid20]

2、编写脚本/root/bin/sumspace.sh，传递两个文件路径作为参数给脚本，计算这两个文件中所有空白行之和

#!/bin/bash
space1=`grep "^[[:space:]]*$" $1 |wc -l`
space2=`grep "^[[:space:]]*$" $2 |wc -l`
echo "sumspace is $[ $space1+$space2 ]" 

3、编写脚本/root/bin/sumfile.sh,统计/etc, /var, /usr目录中共有多少个一级子目录和文件

#!/bin/bash
file1=`tree -L 1 $1 | wc -l`
file2=`tree -L 1 $2 | wc -l`
file3=`tree -L 1 $3 | wc -l`
echo "sumfile is $[ $file1+$file2+$file3]" 

7.4.1 逻辑运算

• 真（true） 表达为1
  假（false） 表达为0
• 与运算
    1 与 1 = 1
    1 与 0 = 0
    0 与 1 = 0
    0 与 0 = 0
  总结：(后面的值)和1相与，保留原值；和0相与，结果都为0
• 或运算
    1 或 1 = 1
    1 或 0 = 1
    0 或 1 = 1
    0 或 0 = 0
  总结：(后面的值)和1相或，结果都为1；和0相或，保留原值
• 非运算
    ! 1 = 0
    ! 0 = 1
• 短路运算
  短路与
    第一个为0，结果必定为0
    第一个为1，第二个必须要参与运算
  短路或
    第一个为1，结果必定为1
    第一个为0，第二个必须要参与运算
• 异或
    异或的两个值,相同为假，不同为真
  abc之间异或
  a^b=c
  c^a=b
  c^b=a
  知识扩展：a、b值互换
  a=10;b=7;a=$[a^b];b=$[a^b];a=[a^b]
  a=$[a^b](此时a等于a和b异或的值);
  b=$[a\^b](此时b等于a\^b的值再和b异或所得到的值，应该为a原本的值
  a=$[a^b](同理，a的值应该为7)

7.5 条件测试

7.5.1 条件测试

• 判断某需求是否满足，需要由测试机制来实现
   专用的测试表达式需要由测试命令辅助完成测试过程
• 评估布尔声明，以便用在条件性执行中
   若真，则返回0
   若假，则返回1
• 测试命令：
    test EXPRESSION
    [ EXPRESSION ]
    [[ EXPRESSION ]]
    注意：EXPRESSION前后必须有空白字符

条件性的执行操作符
* 根据退出状态而定，命令可以有条件地运行
 && 代表条件性的AND THEN
 || 代表条件性的OR ELSE
使用短路与和短路或进行条件判断
cmd1 && cmd2 || cmd3
如果cmd1成功，就执行cmd2（假设cmd2总成功）
如果cmd2失败，就执行cmd3
示例：
1、id -u $name &> /dev/null && echo $name is exist || echo $name is not exist
给变量name赋值，用户如果存在，结果为真；如果不存在，结果为假
2、ip=192.168.32.128;ping -c1 $ip &>/dev/null && echo $ip is up || echo $ip is down
ping其他ip地址，变量ip赋值的地址如果能通，则结果为ip地址is up；否则，结果为ip地址 is down
3、name=user2; id $name &> /dev/null && echo $name is exist || ( useradd \$name ; echo \$name is created )
根据用户是否存在并作出提示
练习
检查磁盘利用率是否大于80，大于80就报警，低于80不报警（可以吧节点编号也加入检测项）

#!/bin/bash
n=`df | grep "/dev/sd"|tr -s " " %|cut -d% -f5 |sort -nr |head -n1`
Inode=`df -i | grep "/dev/sd"|tr -s " " |cut -d" " -f2 |sort -nr|head -n1`
#把磁盘inode值取出
export m=80
[ $n -gt $m ] && echo `wall disk will be full`
[ $Inode -gt $m ] && echo `wall inode will be full`
#把inode值与80作比较，如果大于80就做出报警

bash的数值测试
* -v VAR
  变量VAR是否设置
* 数值测试
  -gt 是否大于
  -ge 是否大于等于
  -eq 是否等于
  -ne 是否不等于
  -lt 是否小于
  -le 是否小于等于

bash的字符串测试
  = 是否等于
  > ascii码是否大于ascii码
  < 是否小于
  != 是否不等于
  =~ 左侧字符串是否能够被右侧的PATTERN所匹配
    注意: 此表达式一般用于[[ ]]中；扩展的正则表达式
  -z “STRING“ 字符串是否为空，空为真，不空为假
  -n “STRING“ 字符串是否不空，不空为真，空为假
  注意：用于字符串比较时的用到的操作数都应该使用引号

bash的文件测试
* 存在性测试
  -a FILE：同-e
  -e FILE: 文件存在性测试，存在为真，否则为假
* 存在性及类别测试
  -b FILE：是否存在且为块设备文件
  -c FILE：是否存在且为字符设备文件
  -d FILE：是否存在且为目录文件
  -f FILE：是否存在且为普通文件
  -h FILE 或 -L FILE：存在且为符号链接文件
  -p FILE：是否存在且为命名管道文件
  -S FILE：是否存在且为套接字文件
判断文件状态
要首先判断该文件是否为软链接，然后在判断文件其他类型
如果文件是一个软链接，需要用-h或-L判断，否则会判断软链接指向的文件类型

bash的文件权限测试
* 文件权限测试
  -r FILE：是否存在且可读
  -w FILE: 是否存在且可写
  -x FILE: 是否存在且可执行
* 文件特殊权限测试
  -u FILE：是否存在且拥有suid权限
  -g FILE：是否存在且拥有sgid权限
  -k FILE：是否存在且拥有sticky权限

bash的文件属性测试
* 文件大小测试：
  -s FILE：是否存在且非空
* 文件是否打开：
  -t fd: fd 文件描述符是否在某终端已经打开
  -N FILE：文件自从上一次被读取之后是否被修改过
  -O FILE：当前有效用户是否为文件属主
  -G FILE：当前有效用户是否为文件属组
* 双目测试：
  FILE1 -ef FILE2: FILE1是否是FILE2的硬链接
  FILE1 -nt FILE2: FILE1是否新于FILE2（mtime）
  FILE1 -ot FILE2: FILE1是否旧于FILE2

bash的组合测试条件
* 第一种方式：
  COMMAND1 && COMMAND2 并且
  COMMAND1 || COMMAND2 或者
  ! COMMAND 非
  如：[[ -r FILE ]] && [[ -w FILE ]]
* 第二种方式
  EXPRESSION1 -a EXPRESSION2 并且
   -o EXPRESSION2 或者
  ! EXPRESSION
  必须使用测试命令进行
示例：
判断变量HOSTNAME非空或等于localhost.localdomain，如果满足该条件则执行localhost.localdomain命令
[ -z “$HOSTNAME” -o $HOSTNAME “==\”localhost.localdomain” ] && hostname www.magedu.com
判断/bin/cat为普通文件并且有执行权限，如果满足则执行cat /etc/fstab
[ -f /bin/cat -a -x /bin/cat ] && cat /etc/fstab
判断ip地址：如果是ip地址，则输出true，否则为false
ip=331.1.1.1;[[ “$ip” =~ ^(([0-9][1-9]?|1[0-9]{2}|2[0-4][0-9]|25[0-5]).){3}([0-9][1-9]?|1[0-9]{2}|2[0-4][0-9]|25[0-5])$ ]] && echo true ||echo false

练习
1、输入ip地址，如果存在，写入ip.conf；如果不存在，做出提醒

#!/bin/bash
read -p "please input your ipaddr:" ip
[[  "$ip" =~ ^(([1-9]?[0-9]|1[1-9]?[0-9]|2[0-4][0-9]|25[0-5])\.){3}([1-9]?[0-9]|[1-9]?[0-9]|2[0-4][0-9]|25[0-5])$ ]] && echo "IPADDR = $ip" >> ip.txt ||echo "IPADDR is not ok"    

2、鸡兔同笼：假设笼中有35个头，94只脚，计算出笼中鸡和兔子各有多少只？
（输入头的数量和脚的数量，可以计算出鸡和兔子的数量）

#!/bin/bash
read -p "please input num of head:" head
[[ ! $head =~ ^[[:digit:]]+$ ]] && { echo "请输入数字";exit; }
#判断输入内容是否为数字
read -p "please input num of feet:" feet
[[ ! $head =~ ^[[:digit:]]+$ ]] && { echo "请输入数字";exit; }                        
#判断输入内容是否为数字
(( rabbit = $feet/2-$head )) && echo "the num of chook is $rabbit"
(( chook = $head-$rabbit )) && echo "the num of rabbit is $chook"

3、输入yes或no，如果输入的是yes或no，提示答案正确；如果输入不是yes或no，提示输入错误（要求yes可以是y，大小写混用的yes，no可以是n，也可以大小写混用）

#!/bin/bash
read -p "Please input yes or no: " answer
[[ "$answer" =~   ^[Yy]([Ee][Ss])?$ ]] &&  echo Your answer is YES && exit
[[ "$answer" =~   ^[Nn][Oo]?$ ]] &&  echo Your answer is NO  && exit
echo "Your answer is false,please input yes or no

7.4.3 使用read命令来接受输入

• 使用read来把输入值分配给一个或多个shell变量
    -p 指定要显示的提示
    -s 静默输入，一般用于密码
    -n N 指定输入的字符长度N
    -d ‘字符’ 输入结束符
    -t N TIMEOUT为N秒
    read 从标准输入中读取值，给每个单词分配一个变量，所有剩余单词都被分配给最后一个变量
  注意：-p 输入提示信息，后面要紧跟描述信息，不能跟其他选项
  如： read -t 30 -p “please input your name: ” name
  输入提示信息，30秒超时断开（name是一个变量，相当于read name中的$name变量）
  read不支持管道复制
  如：cat f1 |read x y z
  可以用<<<对多个变量赋值
  如：read x y z <<< “aa bb cc”

7.5 配置用户环境

7.5.1 bash的配置文件

• 按生效范围划分，存在两类：
   * 全局配置：
    /etc/profile
    /etc/profile.d/*.sh
    /etc/bashrc
   * 个人配置：
    ~/.bash_profile
    ~/.bashrc

shell登录两种方式
* 交互式登录（命令行界面）
  (1)直接通过终端输入账号密码登录
  (2)使用“su - UserName” 切换的用户
  执行顺序：/etc/profile –> /etc/profile.d/*.sh –> ~/.bash_profile –> ~/.bashrc –> /etc/bashrc
* 非交互式登录（图形界面）
  (1)su UserName
  (2)图形界面下打开的终端
  (3)执行脚本
  (4)任何其它的bash实例
  执行顺序： ~/.bashrc –> /etc/bashrc –> /etc/profile.d/*.sh

• 按功能划分，存在两类：
    profile类和bashrc类
   * profile类：为交互式登录的shell提供配置
    全局：/etc/profile, /etc/profile.d/*.sh
    个人：~/.bash_profile
    功用：
    (1) 用于定义环境变量
    (2) 运行命令或脚本
   * bashrc类：为分交互式和交互式登录的shell提供配置
    全局：/etc/bashrc
    个人：~/.bashrc
    功用：
    (1) 定义命令别名和函数
    (2) 定义本地变量

编辑配置文件生效
* 修改profile和bashrc文件后需立即生效
  两种方法:
  1重新启动shell进程
  2 . 或source（不推荐使用，全局变量生效会对当前环境产生影响）
  例:
  . ~/.bashrc

bash退出任务
* 保存在~/.bash_logout文件中
* 在退出登录shell时运行
* 用于：
 * 创建自动备份
 * 清除临时文件

$-变量
h：hashall，打开这个选项后，Shell会将命令所在的路径hash下来，避免每次都要查询。通过set +h将h选项关闭
i：interactive-comments，包含这个选项说明当前的 shell是一个交互式的 shell。所谓的交互式shell,在脚本中，i选项是关闭的。
m：monitor，打开监控模式，就可以通过Job control来控制进程的停止、继续，后台或者前台执行等。
B：braceexpand，大括号扩展
H：history，H选项打开，可以展开历史列表中的命令，可以通过!感叹号来完成，例如“!!”返回上最近的一个历史命令，“!n”返回第 n 个历史命令