大数据shell脚本

Shell是一个命令行解释器,它接收应用程序/用户命令,然后调用操作系统内核.

Shell还是一个功能相当强大的编程语言,易编写,易调用,灵活性强.

Shell解析器
（1）Linux提供的Shell解析器有：

[jinghnag@hadoop101 ~]$ cat /etc/shells

/bin/sh

/bin/bash

/sbin/nologin

/bin/dash

/bin/tcsh

/bin/csh

（2）bash和sh的关系

[jinghnag@hadoop101 bin]$ ll | grep bash

-rwxr-xr-x. 1 root root 941880 5月 11 2016 bash

lrwxrwxrwx. 1 root root 4 5月 27 2017 sh -> bash

（3）Centos默认的解析器是bash

[jinghnag@hadoop101 bin]$ echo $SHELL

/bin/bash

Shell脚本入门
1．脚本格式

脚本以#!/bin/bash开头（指定解析器）

2．第一个Shell脚本：helloworld

（1）需求：创建一个Shell脚本，输出helloworld

（2）案例实操：

[jinghnag@hadoop101 datas]$ touch helloworld.sh

[jinghnag@hadoop101 datas]$ vi helloworld.sh

在helloworld.sh中输入如下内容

#!/bin/bash

echo “helloworld”

（3）脚本的常用执行方式

第一种：采用bash或sh+脚本的相对路径或绝对路径（不用赋予脚本+x权限）

sh+脚本的相对路径

[jinghnag@hadoop101 datas]$ sh helloworld.sh

Helloworld

sh+脚本的绝对路径

[jinghnag@hadoop101 datas]$ sh /home/jinghnag/datas/helloworld.sh

helloworld

bash+脚本的相对路径

[jinghnag@hadoop101 datas]$ bash helloworld.sh

Helloworld

bash+脚本的绝对路径

[jinghnag@hadoop101 datas]$ bash /home/jinghnag/datas/helloworld.sh

Helloworld

第二种：采用输入脚本的绝对路径或相对路径执行脚本（必须具有可执行权限+x，推荐采用这种方式）

（a）首先要赋予helloworld.sh 脚本的+x权限

[jinghnag@hadoop101 datas]$ chmod +x helloworld.sh

（b）执行脚本

相对路径

[jinghnag@hadoop101 datas]$ ./helloworld.sh

Helloworld

绝对路径

[jinghnag@hadoop101 datas]$ /home/jinghnag/datas/helloworld.sh

Helloworld

注意：第一种执行方法，本质是bash解析器帮你执行脚本，所以脚本本身不需要执行权限。第二种执行方法，本质是脚本需要自己执行，所以需要执行权限。

3．第二个Shell脚本：多命令处理

（1）需求：

在/home/jinghnag/目录下创建一个banzhang.txt,在banzhang.txt文件中增加“I love cls”。

案例实操：
[jinghnag@hadoop101 datas]$ touch batch.sh

[jinghnag@hadoop101 datas]$ vi batch.sh

在batch.sh中输入如下内容

#!/bin/bash

cd /home/jinghnag

touch cls.txt

echo “I love cls” >>cls.txt

查看脚本的执行流程（一般使用这个命令来查看脚本执行的步骤，错误）
[jinghnag@hadoop101 datas]$ bash -x batch.sh

查看脚本的语法（一般使用这个命令来查看脚本语法错误）
[jinghnag@hadoop101 datas]$ bash -n batch.sh

Shell中的变量
系统变量

1. 常用系统变量

$HOME、$PWD、$SHELL、$USER等

2．案例实操

（1）查看系统变量的值

[jinghnag@hadoop101 datas]$ echo $HOME

/home/jinghnag

（2）显示当前Shell中所有变量：set

[jinghnag@hadoop101 datas]$ set

BASH=/bin/bash

BASH_ALIASES=()

BASH_ARGC=()

BASH_ARGV=()

自定义变量
1．基本语法

（1）定义变量：变量=值

（2）撤销变量：unset 变量

（3）声明静态变量：readonly变量，注意：不能unset

2．变量定义规则

（1）变量名称可以由字母、数字和下划线组成，但是不能以数字开头，环境变量名建议大写。

（2）等号两侧不能有空格

（3）在bash中，变量默认类型都是字符串类型，无法直接进行数值运算。

（4）变量的值如果有空格，需要使用双引号或单引号括起来。

3．案例实操

（1）定义变量A

[jinghnag@hadoop101 datas]$ A=5

[jinghnag@hadoop101 datas]$ echo $A

5

（2）给变量A重新赋值

[jinghnag@hadoop101 datas]$ A=8

[jinghnag@hadoop101 datas]$ echo $A

8

（3）撤销变量A

[jinghnag@hadoop101 datas]$ unset A

[jinghnag@hadoop101 datas]$ echo $A

（4）声明静态的变量B=2，不能unset

[jinghnag@hadoop101 datas]$ readonly B=2

[jinghnag@hadoop101 datas]$ echo $B

2

[jinghnag@hadoop101 datas]$ B=9

-bash: B: readonly variable

（5）在bash中，变量默认类型都是字符串类型，无法直接进行数值运算

[jinghnag@hadoop101 ~]$ C=1+2

[jinghnag@hadoop101 ~]$ echo $C

1+2

（6）变量的值如果有空格，需要使用双引号或单引号括起来

[jinghnag@hadoop101 ~]$ D=I love banzhang

-bash: world: command not found

[jinghnag@hadoop101 ~]$ D=“I love banzhang”

[jinghnag@hadoop101 ~]$ echo $A

I love banzhang

（7）可把变量提升为全局环境变量，可供其他Shell程序使用

export 变量名

[jinghnag@hadoop101 datas]$ vim helloworld.sh

在helloworld.sh文件中增加echo $B

#!/bin/bash

echo “helloworld”

echo $B

[jinghnag@hadoop101 datas]$ ./helloworld.sh

Helloworld

发现并没有打印输出变量B的值。

[jinghnag@hadoop101 datas]$ export B

[jinghnag@hadoop101 datas]$ ./helloworld.sh

helloworld

2

特殊变量：$n
1．基本语法

$n （功能描述：n为数字，$0代表该脚本名称，$1-$9代表第一到第九个参数，十以上的参数，十以上的参数需要用大括号包含，如${10}）

2．案例实操

（1）输出该脚本文件名称、输入参数1和输入参数2 的值

[jinghnag@hadoop101 datas]$ touch parameter.sh

[jinghnag@hadoop101 datas]$ vim parameter.sh

#!/bin/bash

echo “$0 $1 $2”

[jinghnag@hadoop101 datas]$ chmod 777 parameter.sh

[jinghnag@hadoop101 datas]$ ./parameter.sh cls xz

./parameter.sh cls xz

特殊变量：$#
1．基本语法

$# （功能描述：获取所有输入参数个数，常用于循环）。

2．案例实操

（1）获取输入参数的个数

[jinghnag@hadoop101 datas]$ vim parameter.sh

#!/bin/bash

echo “$0 $1 $2”

echo $#

[jinghnag@hadoop101 datas]$ chmod 777 parameter.sh

[jinghnag@hadoop101 datas]$ ./parameter.sh cls xz

parameter.sh cls xz

2

特殊变量：$\ast 、$@
1．基本语法

$\ast （功能描述：这个变量代表命令行中所有的参数，$*把所有的参数看成一个整体）

$@（功能描述：这个变量也代表命令行中所有的参数，不过$@把每个参数区分对待）

2．案例实操

（1）打印输入的所有参数

[jinghnag@hadoop101 datas]$ vim parameter.sh

#!/bin/bash

echo “$0 $1 $2”

echo $#

echo $*

echo $@

[jinghnag@hadoop101 datas]$ bash parameter.sh 1 2 3

parameter.sh 1 2

3

1 2 3

1 2 3

特殊变量：$？
1．基本语法

$？ （功能描述：最后一次执行的命令的返回状态。如果这个变量的值为0，证明上一个命令正确执行；如果这个变量的值为非0（具体是哪个数，由命令自己来决定），则证明上一个命令执行不正确了。）

2．案例实操

（1）判断helloworld.sh脚本是否正确执行

[jinghnag@hadoop101 datas]$ ./helloworld.sh

hello world

[jinghnag@hadoop101 datas]$ echo $?

0