shell

shell脚本

在说什么是shell脚本之前，先说说什么是shell。

shell是外壳的意思，就是操作系统的外壳。我们可以通过shell命令来操作和控制操作系统，比如Linux中的Shell命令就包括ls、cd、pwd等等。
总结来说，Shell是一个命令解释器，它通过接受用户输入的Shell命令来启动、暂停、停止程序的运行或对计算机进行控制。

shell 是一个应用程序，它连接了用户和 Linux 内核，让用户能够更加高效、安全、低成本地使用 Linux 内核，这就是 Shell 的本质。

shell 本身并不是内核的一部分，它只是站在内核的基础上编写的一个应用程序。

Shell是命令解释器(command interpreter)，是Unix操作系统的⽤户接⼝，程序从⽤户接⼝得到输⼊信 息，shell将⽤户程序及其输⼊翻译成操作系统内核（kernel）能够识别的指令，并且操作系统内核执⾏ 完将返回的输出通过shell再呈现给⽤户，下图所示⽤户、shell和操作系统的关系：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jfpfWKcr-1615035121760)(C:\Users\MrChang\AppData\Roaming\Typora\typora-user-images\image-20210301143905861.png)]

⼀个系统可以存在多个shell，可以通过cat /etc/shells命令查看系统中安装的shell。

[root@node01 ~]# cat /etc/shells
/bin/sh 
/bin/bash 
/usr/bin/sh 
/usr/bin/bash

操作系统内核（kernel）与shell是独⽴的套件，⽽且都可被替换；不同的操作系统使⽤不同的shell； 同 ⼀个kernel之上可以使⽤不同的shell。 也可以查看当前shell环境是哪种：

[root@node01 ~]# echo  $SHELL 

那么什么是shell脚本呢？

shell脚本就是由Shell命令组成的执行文件，将一些命令整合到一个文件中，进行处理业务逻辑，脚本不用编译即可运行。它通过解释器解释运行，
所以速度相对来说比较慢。

shell脚本中最重要的就是对shell命令的使用与组合，再使用shell脚本支持的一些语言特性，完成想要的功能。

Shell也是⼀⻔编程语⾔，即shell脚本。在此脚本中，我们可以使⽤⼀些编程语法来进⾏⼀些任务操作。 如：变量、类型、分⽀结构、循环结构、数组、函数等语法。 在shell脚本⾥，必须指定⼀种shell命令解 释器。

注释

“# ”开头的就是注释，被编译器忽略

单行注释： #
多行注释： :<<EOF … EOF 或者 :<<! … ! （:<< 标识多行注释开始，并指定一个标识符作为开始结束的标志）

变量

变量类型
运行shell时，会同时存在三种变量：

局部变量：局部变量在脚本或命令中定义，仅在当前shell实例中有效，其他shell启动的程序不能访问局部变量。
环境变量：所有的程序，包括shell启动的程序，都能访问环境变量，有些程序需要环境变量来保证其正常运行。必要的时候shell脚本也可以定义环境变量。
shell变量：shell变量是由shell程序设置的特殊变量。shell变量中有一部分是环境变量，有一部分是局部变量，这些变量保证了shell的正常运行

变量操作

创建普通变量： name=“test” （=两边不可有空格）
创建只可函数体中使用的局部变量： local name=“test” （使用local修饰的变量在函数体外无法访问，并且local只能在函数体内使用）
使用变量： echo $name 或者 echo ${name} （推荐使用大括号版）
变量重新赋值： name=“new_test” （将原值覆盖）
只读变量： name=“only_read” -> readonly name （使用readonly标识后的变量，不可被修改）
删除变量： unset name; （删除之后不可访问，删除不掉只读变量）

字符串变量
1）单引号

单引号变量var='test' ，只能原样输出，变量无效(自己试验变量有效)
单引号中不能出现一个单独的单引号，转义也不可以

2）双引号

双引号变量var="my name is ${name}"，变量有效
可出现转义符

3）拼接字符串

中间无任何+，之类的字符
name=“this is”" my name"; name=“this is my name”; name=name1="this "is" my name"; 等效
name=‘this is’’ my nam’; name=‘this is my name’; name=‘this ’is‘ my name’ 等效   
name=‘this’ is ‘my name’或name="this" is "my name" 会报错
./shell-exercise.sh: line 3: my name: command not found

4）获取字符串长度

在${}中使用“#”获取长度
name=“test”;
echo ${#name}; # 输出为4

5）提取子字符串

1:4 从第2个开始 往后截取4个字符
::4 从第一个字符开始 往后截取4个字符
name=“this is my name”;
echo ${name:1:4} #输出 his
echo ${name::4} #输出 this

程序案例：

#!/bin/bash
#''变量
name=$1;
#拼接字符串
echo ${name}
name1="this "is" my name";
echo ${name1}
#'#'获取长度
echo ${#name}
try='exception'
#!/bin/bash
#''变量
name=$1;
#拼接字符串
echo ${name}
name1="this "is" my name";
echo ${name1}
#'#'获取长度
echo ${#name}
try='exception'
#截取字符串下标从0开始
echo ${try::5}
#数组
array_name=(li wang zhao chang);
echo ${array_name[0]}
echo ${array_name[1]}
echo ${array_name[2]}
#运算
a=2
b=2
val=`expr ${a} + ${b}`
echo ${val}
val1=$[2+2]
echo ${val1}
val2=$((2+2))
echo ${val2}
val3=`expr ${a} \* ${b}`
echo ${val3}
val3=`expr ${a} / ${b}`
echo ${val3}

#数字关系运算符
#关系运算符只支持数字，不支持字符串，除非字符串是数字
c=10
d=20
#-eq:检测两个数是否相等,相等返回true,否则返回false
[ ${c} - eq ${d} ]

数组

bash只支持一维数组，不支持多维数组

定义数组：array_name=(li wang xiang zhang) （小括号做边界、使用空格分离）
单独定义数组的元素： array_para[0]=“w”; array_para[3]=“s” （定义时下标不连续也可以）
不单独定义时按照原本下标输出
赋值数组元素：array_name[0]=“zhao”;
获取数组元素：
    array_name[0]=“li”
    array_name[3]=“zhang”
    echo ${array_name[0]} # 输出"li"
    echo ${array_name[1]} # 输出" "
    echo ${array_name[3]} # 输出"zhang"
    echo ${array_name[@]} # 输出"li zhang" 输出数组所有元素，没有元素的下标省略
取得元素个数：${#array_name[@]} 或者 ${#array_name[*]}
取得单个元素长度：${#array_name[1]}

参数传递

获取参数值：
    $0 ： 固定，代表执行的文件名
    $1 ： 代表传入的第1个参数
    $n ： 代表传入的第n个参数
$#：参数个数
$*： 以一个单字符串显示所有向脚本传递的参数。如"$*“用「”」括起来的情况、以"$1 $2 … $n"的形式输出所有参数
$@：与$*相同，但是使用时加引号，并在引号中返回每个参数。
$$：脚本运行的当前进程号
$！：后台运行的最后一个进程的ID
$?： 显示最后命令的退出状态。0表示没有错误，其他任何值表明有错误。
$* 与 $@ 区别
    相同点：都是引用所有参数。
    不同点：只有在双引号中体现出来。假设在脚本运行时写了三个参数 1、2、3，，则 " * " 等价于 “1 2 3”（传递了一个参数），而 “@” 等价于 “1” “2” “3”（传递了三个参数）。

运算符

算数运算

+ 、-、*、/ ： 乘号前必须加\进行转义才可以进行乘法运算
加法运算
    val=`expr 2 + 2` （使用linux命令expr进行辅助运算） 运算的时候需要用 ``(票号括起来)
    val=$[2+2] （4个空格不是必要的，不同于条件判断）
    val=$((2+2))

数字关系运算符

关系运算符只支持数字，不支持字符串，除非字符串的值是数字。
下面假定变量 a 为 10，变量 b 为 20

-eq ：检测两个数是否相等，相等返回 true。 [ $a -eq $b ] 返回 false。
-ne： 检测两个数是否不相等，不相等返回 true。 [ $a -ne $b ] 返回 true。
-gt： 检测左边的数是否大于右边的，如果是，则返回 true。 [ $a -gt $b ] 返回 false。
-lt ： 检测左边的数是否小于右边的，如果是，则返回 true。 [ $a -lt $b ] 返回 true。
-ge： 检测左边的数是否大于等于右边的，如果是，则返回 true。 [ $a -ge $b ] 返回 false。
-le ： 检测左边的数是否小于等于右边的，如果是，则返回 true。 [ $a -le $b ] 返回 true。

字符串运算符

下表列出了常用的字符串运算符，假定变量 a 为 “abc”，变量 b 为 “efg”：

= ：检测两个字符串是否相等，相等返回 true。 [ $a = $b ] 返回 false。
!= ：检测两个字符串是否相等，不相等返回 true。 [ $a != $b ] 返回 true。
-z ：检测字符串长度是否为0，为0返回 true。 [ -z $a ] 返回 false。
-n ：检测字符串长度是否为0，不为0返回 true。 [ -n “$a” ] 返回 true。
$ ：检测字符串是否为空，不为空返回 true。 [ $a ] 返回 true。

布尔运算符

下表列出了常用的布尔运算符，假定变量 a 为 10，变量 b 为 20：

! ：非运算，表达式为 true 则返回 false，否则返回 true。 [ ! false ] 返回 true。
-o ：或运算，有一个表达式为 true 则返回 true。 [ $a -lt 20 -o $b -gt 100 ] 返回 true。
-a ：与运算，两个表达式都为 true 才返回 true。 [ $a -lt 20 -a $b -gt 100 ] 返回 false。

逻辑运算符

以下介绍 Shell 的逻辑运算符，假定变量 a 为 10，变量 b 为 20:

&& ：逻辑的 AND [[ $a -lt 100 && $b -gt 100 ]] 返回 false
|| ：逻辑的 OR [[ $a -lt 100 || $b -gt 100 ]] 返回 true

文件运算符

-b file ：检测文件是否是块设备文件，如果是，则返回 true。 [ -b $file ] 返回 false。
-c file ：检测文件是否是字符设备文件，如果是，则返回 true。 [ -c $file ] 返回 false。
-d file ：检测文件是否是目录，如果是，则返回 true。 [ -d $file ] 返回 false。
-f file ：检测文件是否是普通文件（既不是目录，也不是设备文件），如果是，则返回 true。 [ -f $file ] 返回 true。
-g file ：检测文件是否设置了 SGID 位，如果是，则返回 true。 [ -g $file ] 返回 false。
-k file ：检测文件是否设置了粘着位(Sticky Bit)，如果是，则返回 true。 [ -k $file ] 返回 false。
-p file ：检测文件是否是有名管道，如果是，则返回 true。 [ -p $file ] 返回 false。
-u file ：检测文件是否设置了 SUID 位，如果是，则返回 true。 [ -u $file ] 返回 false。
-r file ：检测文件是否可读，如果是，则返回 true。 [ -r $file ] 返回 true。
-w file ：检测文件是否可写，如果是，则返回 true。 [ -w $file ] 返回 true。
-x file ：检测文件是否可执行，如果是，则返回 true。 [ -x $file ] 返回 true。
-s file ：检测文件是否为空（文件大小是否大于0），不为空返回 true。 [ -s $file ] 返回 true。
-e file ：检测文件（包括目录）是否存在，如果是，则返回 true。 [ -e $file ] 返回 true。

执行相关

脚本⽂件的执⾏

第⼀种执⾏⽅式： 使⽤bash程序来调⽤执⾏，只需要有读®权限即可

[root@node01 ~]# sh  *.sh              
或者 
[root@node01 ~]# bash   *.sh

第⼆种执⾏⽅式：直接写script，必须要有rx权限才⾏

[root@node01 ~]# ./*.sh 
绝对路径写法： /hadoop/*.sh 
相对路径写法： ./*.sh

第三种：借助变量PATH功能：

将*.sh放⼊~/bin⽬录下，因为PATH⾥拼接了~/bin⽬录。 
注意：~/bin⽬录必须⾃⾏创建
在~/bin目录下创建shell.sh就可以不在指定目录下运行
[root@NODE01 /bin]# vim shell.sh
[root@NODE01 /bin]# chmod +x shell.sh 
[root@NODE01 ~]# shell.sh 
name

第四种：source shell.sh

[root@NODE01 ~/shell-study]# source shell.sh 
/opt/gitblit
[root@NODE01 ~/shell-study]# source shell-xh.sh 
2021-03-04
2021-03-04

命令替换

命令替换与变量替换差不多，都是用来重组命令行的，先完成引号里的命令行，然后将其结果替换出来，再重组成新的命令行。
执行命令：

`ls /etc` ： 反引号 （所有的unix系统都支持）
$(ls /etc) ： $+() （部分unix系统不支持）
多个嵌套使用时，从内向外执行

for file in \s /etc\ 或 for file in $(ls /etc) 循环中使用
`dirname $0` 获取脚本文件所在的目录
path=$(cd `dirname $0`;pwd) ： 获取脚本当前所在目录，并且执行cd命令到达该目录，使用pwd获取路径并赋值到path变量

算术运算

$[ ] : 加减乘除,不必添加空格
$(( )) ：加减乘除等,不必添加空格

逻辑判断

[ ] ： 中括号旁边和运算符两边必须添加空格 （可以使用，不推荐）
[[ ]]：中括号旁边和运算符两边必须添加空格 （字符串验证时，推荐使用）
(()) ： 小括号旁边和运算符两边必须添加空格 （数字验证时，推荐使用）
[[]] 和 (()) 分别是[ ]的针对数学比较表达式和字符串表达式的加强版。
使用[[ … ]]条件判断结构，而不是[ … ]，能够防止脚本中的许多逻辑错误。比如，&&、||、<和> 操作符能够正常存在于[[ ]]条件判断结构中，但是如果出现在[ ]结构中的话，会报错。
比如可以直接使用if [[ $a != 1 && $a != 2 ]], 如果不适用双括号, 则为if [ $a -ne 1] && [ $a != 2 ]或者if [ $a -ne 1 -a $a != 2 ]。
[[ ]]中增加模式匹配特效；
(( ))不需要再将表达式里面的大小于符号转义，除了可以使用标准的数学运算符外，还增加了一些符号

输出

echo
仅用于字符串的输出，没有使用printf作为输出的移植性好，建议使用printf

printf

printf 不会像 echo 自动添加换行符，我们可以手动添加 \n
无大括号，直接以空格分隔

格式：printf format-string [arguments...] 其中（format-string: 格式控制字符串、arguments: 参数列表）
案例：printf "%-10s %-8s %-4.2f\n" 郭靖 男 66.1234
%s %c %d %f 都是格式替代符
    d：Decimal 十进制整数 对应位置参数必须是十进制整数，否则报错!
    s：String 字符串 对应位置参数必须是字符串或者字符型 否则报错
    c：Char 字符 对应位置参数必须是字符串或者字符型 否则报错
    f：Float 浮点 对应位置参数必须是数字型 否则报错
%-10s ： 指一个宽度为10个字符（-表示左对齐，没有则表示右对齐），任何字符都会被显示在10个字符宽的字符内，如果不足则自动以空格填充，超过也会将内容全部显示出来。
%-4.2f ：指格式化为小数，宽度为4个字符，其中.2指保留2位小数。
转义符：
    \a ：警告字符，通常为ASCII的BEL字符
    \b ：后退
    \c ：抑制（不显示）输出结果中任何结尾的换行字符（只在%b格式指示符控制下的参数字符串中有效），而且，任何留在参数里的字符、任何接下来的参数以及任何留在格式字符串中的字符，都被忽略
    \f ：换页（formfeed）
    \n ：换行
    \r ：回车（Carriage return）
    \t ：水平制表符
    \v ：垂直制表符
    \ ：一个字面上的反斜杠字符
    \ddd ：表示1到3位数八进制值的字符。仅在格式字符串中有效
    \0ddd ：表示1到3位的八进制值字符

流程控制

和Java、PHP等语言不一样，sh的流程控制不可为空，即if或者else的大括号中无任何语句
if else

if

if condition
then
    command1 
    command2
    ...
    commandN 
fi

if else

if condition
then
    command1 
    command2
    ...
    commandN
else
    command
fi

if else-if else

if condition1
then
    command1
elif condition2 
then 
    command2
else
    commandN
fi

for

for var in item1 item2 ... itemN
do
    command1
    command2
    ...
    commandN
done

程序案例：1-4里面的奇数之和

#!/bin/bash
sum=0
for num in 1 2 3 4;
do
  re=${num}%2
if (( ${re} == 1 ));
then
sum=$[${sum}+${num}]
fi
done
echo ${sum}

while

while condition

while condition
do
    command
done

while 无限循环

while :
do
    command
done

until

until 循环执行一系列命令直至条件为 true 时停止。
until 循环与 while 循环在处理方式上刚好相反。

until condition
do
    command
done

case

Shell case语句为多选择语句。可以用case语句匹配一个值与一个模式，如果匹配成功，执行相匹配的命令。
case需要一个esac（就是case反过来）作为结束标记，每个case分支用右圆括号，用两个分号表示break，其中“;;”不是跳出循环，是不在去匹配下面的模式
case语句格式如下：

case 值 in
  模式1)
    command1
    command2
    ...
    commandN
    ;;
  模式2）
    command1
    command2
    ...
    commandN
    ;;
esac

跳出循环

break ：跳出总循环
continue：跳出当前循环，继续下一次循环

定义函数

可以带function fun() 定义，也可以直接fun() 定义,不带任何参数。

函数定义

[ function ] funname()
{
    action;
    [return int;]
}

参数传递
    调用函数: fun_name 2 3 4
    函数中使用：和shell取用函数相同 $n $# $* $? 或者加上{}

funWithParam(){
    echo "第一个参数为 $1 !"
    echo "第二个参数为 $2 !"
    echo "第十个参数为 $10 !"
    echo "第十个参数为 ${10} !"
    echo "第十一个参数为 ${11} !"
    echo "参数总数有 $# 个!"
    echo "作为一个字符串输出所有参数 $* !"}
funWithParam 1 2 3 4 5 6 7 8 9 34 73
echo $?  \# 判断执行是否成功

函数返回值
    return字样可存在也可不存在
    return 只能为 return [0-255]，此处的返回可作为函数执行的状态，通过$?获取的便是这个返回值
    如果不加return ， 则默认最后一条语句的执行状态所为函数执行状态的返回值，如果最后一条语句执行成功，则$?为0，否则不为0
使用函数返回值（Janusgraph图数据库官方启动服务脚本片段）
    return返回的数字，只是作为函数执行状态的返回值，也就是接下来$?获取的值
    对于类似于下面的BIN=\abs_path``语句，获取的是函数体内所有的echo、printf输出组合成的一个字符串

abs_path() {
    SOURCE="${BASH_SOURCE[0]}"
    while [ -h "$SOURCE" ]; do
        DIR="$( cd -P "$( dirname "$SOURCE" )" && pwd )"
        SOURCE="$(readlink "$SOURCE")"
        [[ $SOURCE != /* ]] && SOURCE="$DIR/$SOURCE"
    done
    echo "test"  
    echo "$( cd -P "$( dirname "$SOURCE" )" && pwd )"  


# 此函数的两个echo输出会组合成一个字符串作为下述BIN的值

BIN=`abs_path` # BIN赋值函数返回值，如果没有return，则函数中所有的echo、printf输出组合成一个字符串传入BIN
path=${BIN}/nodetool # 可直接使用

输入输出重定向

一般情况下，每个 Unix/Linux 命令运行时都会打开三个文件：

标准输入文件(stdin)：stdin的文件描述符为0，Unix程序默认从stdin读取数据。
标准输出文件(stdout)：stdout 的文件描述符为1，Unix程序默认向stdout输出数据。
标准错误文件(stderr)：stderr的文件描述符为2，Unix程序会向stderr流中写入错误信息。

默认情况下，command > file 将 stdout 重定向到 file，command < file 将stdin 重定向到 file。
如果希望执行某个命令，但又不希望在屏幕上显示输出结果，那么可以将输出重定向到 /dev/null：

输入重定向

bash.sh < file ： 将脚本的输入重定向到file，由file提供参数

输出重定向

bash.sh > file ： 将脚本的输出数据重定向到file中，覆盖数据
bash.sh >> file ： 将脚本的输出数据重定向到file中，追加数据
command >> file 2>&1 ： 将 stdout 和 stderr 合并后重定向到 file

读取外部输入

命令：read arg （脚本读取外部输入并赋值到变量上）
在shell脚本执行到上述命令时，停止脚本执行并等待外部输入，将外部输入赋值到arg变量上，继续执行脚本
文件引用

引用其他的文件之后，可以使用其变量、函数等等，相当于将引用的文件包含进了当前文件
两种方式：

. file_path\file_name
source file_path\file_name

read命令说明：

read [选项] 值
read -p(提示语句) -n(字符个数) -t(等待时间，单位为秒) –s(隐藏输⼊)

[root@NODE01 ~]# read -t 30 -p "please input your name: " NAME
please input your name: MrChang
[root@NODE01 ~]# echo $NAME
MrChang
[root@NODE01 ~]# read -s -p "please input your age :"  AGE
please input your age :     注意：如果隐藏输⼊，这⾥的结果是看不到的
[root@NODE01 ~]# echo $AGE
18
[root@NODE01 ~]# read -n 1 -p "please input your sex  [M/F]:"  GENDER
please input your sex  [M/F]:M
[root@NODE01 ~]# echo $GENDER
M

注意：
1.在输⼊时，如果输错了要删除要执⾏control+delete

2.符号不要输⼊中⽂

3.NAME与"之间要有空格

颜色标识

printf “\033[32m SUCCESS: yay \033[0m\n”;
printf “\033[33m WARNING: hmm \033[0m\n”;
printf “\033[31m ERROR: fubar \033[0m\n”;

输出结果：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RxToSzp6-1615035121763)(C:\Users\MrChang\AppData\Roaming\Typora\typora-user-images\image-20210306204140745.png)]

长句换行

在shell中为避免一个语句过长，可以使用“\”进行换行
使用“\”换行，在脚本执行过程中还是当做一行一个语句执行，不同于enter直接换行

注意：\ 前添加一个空格 。 \ 后无空格直接换行。

/mysql/bin/mysql
-h test_host -P 000
-u test_user -ptest_password ;

shell操作mysql

下面案例为登录mysql，并选择操作数据库，之后进行导入数据

 /mysql/mysql/bin/mysql \
  -h test_host  -P 000 \
  -u test_user -ptest_password \
  -e"use test_database; source data_faile; " # -e 代表执行sql语句

-u 用户名
-p 用户密码
-h 服务器ip地址
-D 连接的数据库
-N 不输出列信息
-B 使用tab键 代替 分隔符
-e 执行的SQL语句

退出脚本

命令：exit

在退出脚本时使用不同的错误码，这样可以根据错误码来判断发生了什么错误。

在绝大多数 shell 脚本中，exit 0 表示执行成功，exit 1 表示发生错误。
对错误与错误码进行一对一的映射，这样有助于脚本调试。

命令：set -e 或者 set +e
set -e表示从当前位置开始，如果出现任何错误都将触发exit。相反，set +e表示不管出现任何错误继续执行脚本。

如果脚本是有状态的（每个后续步骤都依赖前一个步骤），那么请使用set -e，在脚本出现错误时立即退出脚本。
如果要求所有命令都要执行完（很少会这样），那么就使用set +e。

shell脚本调试

检查是否有语法错误-n：
bash -n script_name.sh
使用下面的命令来执行并调试 Shell 脚本-x：
bash -x script_name.sh

调试count_odd_number.sh 程序案例：

#!/bin/bash
#用于计算数组中奇数的和
sum=0
for num in 1 2 3 4;
do
  re=${num}%2
if (( ${re} == 1 ));
then
sum=$[${sum}+${num}]
fi
done
echo ${sum}

首先检查有无语法错误：
bash -n count_odd_number.sh
没有输出，说明没有错误，开始实际调试：
bash -x count_odd_number.sh
调试结果如下：

• + sum=0
  + for num in 1 2 3 4
  + re=1%2
  + ((  1%2 == 1  ))
  + sum=1
  + for num in 1 2 3 4
  + re=2%2
  + ((  2%2 == 1  ))
  + for num in 1 2 3 4
  + re=3%2
  + ((  3%2 == 1  ))
  + sum=4
  + for num in 1 2 3 4
  + re=4%2
  + ((  4%2 == 1  ))
  + echo 4
    4
  

其中的输出显示了程序执行的每一步，通过观察程序执行的步骤是否满足预期从而达到调试的效果
带有 + 表示的是 Shell 调试器的输出，不带 + 表示程序的输出。

案例：

这是es（ElasticSearch）官方启动服务的脚本，看可不可以理解吧~

#!/usr/bin/env bash

###### CONTROLLING STARTUP:

#

###### This script relies on a few environment variables to determine startup

behavior, those variables are:

#

ES_PATH_CONF -- Path to config directory

ES_JAVA_OPTS -- External Java Opts on top of the defaults set

#

Optionally, exact memory values can be set using the `ES_JAVA_OPTS`. Note that

the Xms and Xmx lines in the JVM options file must be commented out. Example

values are "512m", and "10g".

#

ES_JAVA_OPTS="-Xms8g -Xmx8g" ./bin/elasticsearch

source "`dirname "$0"`"/elasticsearch-env

parse_jvm_options() {
  if [ -f "$1" ]; then
    echo "`grep "^-" "$1" | tr '\n' ' '`"
  fi
}

ES_JVM_OPTIONS="$ES_PATH_CONF"/jvm.options

ES_JAVA_OPTS="`parse_jvm_options "$ES_JVM_OPTIONS"` $ES_JAVA_OPTS"

manual parsing to find out, if process should be detached

if ! echo $* | grep -E '(^-d |-d$| -d |--daemonize$|--daemonize )' > /dev/null; then
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@"
else
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@" \
    <&- &
  retval=$?
  pid=$!
  [ $retval -eq 0 ] || exit $retval
  if [ ! -z "$ES_STARTUP_SLEEP_TIME" ]; then
    sleep $ES_STARTUP_SLEEP_TIME
  fi
  if ! ps -p $pid > /dev/null ; then
    exit 1
  fi
  exit 0
fi

exit $?

awk介绍

cut命令

cut [选项] ⽂件名        默认分割符是制表符，⼀个制表符代表⼀列

选项：

-f  列号：    提取第⼏列

-d 分隔符：    按照指定分隔符分割列

[root@NODE01 ~/shell-study]# cut -f 2 shell.sh       提取第⼆列
ssh root@NODE01 "cd /opt/gitblit;pwd"
root@NODE01 ~/shell-study]# cut -d ":" -f 1,3 /etc/passwd   以:分割，提取第1和第3列
root:0
bin:1
daemon:2
adm:3
lp:4
sync:5
shutdown:6
halt:7
mail:8
operator:11
games:12
ftp:14
nobody:99
systemd-network:192
dbus:81
polkitd:999
sshd:74
postfix:89
ntp:38
jerry:1000
oinstall:1001
rpc:32
rpcuser:29
nfsnobody:65534
oracle:1002
[root@NODE01 ~/shell-study]# cat /etc/passwd | grep /bin/bash | grep -v root | cut -d ":" -f 1  获取所有可登陆的普通⽤户⽤户名
jerry
oinstall
oracle

cut的局限性    不能分割不定⻓度的空格   

⽐如:df -h  不能使⽤cut分割

[root@node01 ~]#  df -h | grep sda1 | cut -f 5

awk介绍

⼀个强⼤的⽂本分析⼯具

把⽂件逐⾏的读⼊，以一个空格或多个空格或者是制表符为默认分隔符将每⾏切⽚，切开的部分再进⾏各种分析处理。

语法：awk ‘条件1{动作1}条件2{动作2}...’⽂件名

条件（Pattern）:

⼀般使⽤关系表达式作为条件： >   >=  <=等

动作（Action）：

格式化输出

流程控制语句

[root@NODE01 ~/shell-study]# df -h | awk '{print $1 "\t" $3}'     显示第⼀列和第三列 
Filesystem	Used
/dev/mapper/centos-root	17G
devtmpfs	0
tmpfs	0
tmpfs	12M
tmpfs	0
/dev/sda1	142M
tmpfs	0

FS内置变量

eg: 输出可登陆⽤户的⽤户名和UID

[root@NODE01 ~]# cat /etc/passwd | grep "/bin/bash" | awk 'BEGIN {FS=":"} {print $1 "\t"$3 }'
root	0
jerry	1000
oinstall	1001
oracle	1002

这⾥使⽤FS内置变量指定分隔符为：,⽽且使⽤BEGIN保证第⼀⾏也操作，因为awk命令会在读取第⼀⾏后再 执⾏条件

注意:指定分隔符⽤-F更简单

[root@NODE01 ~]#  cat /etc/passwd | grep "/bin/bash" | awk -F: '{print $1 "\t"$3 }'
root	0
jerry	1000
oinstall	1001
oracle	1002
查看文件中以,分隔的第71个字段和第26个字段(其实就是打印第26列和第71列)
[root@node ceshi]# grep CN0000000926537 ceshi.txt |awk -F, '{print $71,$26}'
"300" "2021-01-16"

eg: 判断⼀下根⽬录的使⽤情况
[root@NODE01 ~]# df -h |grep sda1 | awk '{print $5}' | awk -F% '{print $1} $1<80{print "info"}$1>80{print "warning"}'
14
info

BEGIN  在所有数据读取之前执⾏
[root@NODE01 ~/shell-study/awk]# awk 'BEGIN {printf "first Line \n"} {printf $2"\t" }' aa.txt
first Line  #在输出之前使⽤BEGIN输出内容
how	!	 

END 在所有数据执⾏之后执⾏
[root@NODE01 ~/shell-study/awk]# awk 'END {printf "The End \n"} {print $2}' aa.txt
how
!
The End 
所有命令执⾏完后，输出⼀句"The End"
#print和printf和java的print和println类似,前者输出换行后者直接跟在后面
[root@NODE01 ~/shell-study/awk]# df -h | grep sda1 | awk '{print $5}'
14%
[root@NODE01 ~/shell-study/awk]# df -h | grep sda1 | awk '{print $5}' | awk -F% '{print $1}'
14
[root@NODE01 ~/shell-study/awk]# df -h | grep sda1 | awk '{print $5}' | cut -d"%" -f 1
14
cut 命令:
cut [选项] 文件名
选项可以为: -f 列号:提取第几列
		  -d 分隔符:按照指定的分隔符将一行分隔成数列,cut默认的分隔符是制表符

 eg: 获取所有⽤户信息⾥的⽤户名：

[root@node01 ~]#  cat /etc/passwd | awk -F: '{print $1}'

[root@node01 ~]#  awk -F: '{print $1}' /etc/passwd

eg: 获取当前机器的ip地址： ifconfig

[root@NODE01 ~]# ifconfig | grep 'inet'  | awk '{print $2}' | awk 'NR==1'
192.168.8.101
# awk 'NR==1'只取第一行的数据
打印文本文件的总行数:
[root@NODE01 ~/shell-study/awk]# awk 'END{print NR}' aa.txt 
2

sed介绍

sed命令介绍

sed: stream editor
sed是⼀个⾮交互性⽂本流编辑器。它编辑⽂件或标准输⼊导出的⽂本拷⻉。标准输⼊可能是来⾃键盘、 ⽂件重定向、字符串或变量，或者是⼀个管道的⽂本。
注意： sed并不与初始化⽂件打交道， 它操作的只是⼀个拷⻉，然后所有的改动如果没有重定向到⼀个 ⽂件，将输出到屏幕。
语法：sed [选项]’[动作]’ ⽂件名
常⽤选项:
-n 使⽤安静（silent）模式。显示经过sed特殊处理的数据。
-e 允许多点编辑，只是控制台输出替换内容，文档不会改变； -i 直接修改读取的档案内容，⽽不是由屏幕输出。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YvrCYdzX-1615035121764)(C:\Users\MrChang\AppData\Roaming\Typora\typora-user-images\image-20210301145002624.png)]

sed命令的使用

[root@NODE01 ~/shell-study/sed]# sed  '2p' sed.txt		显示第⼆⾏和所有数据
sldx it spark hadoop edu it hadoop it scala
hello world
hello world
你哈珀    

[root@NODE01 ~/shell-study/sed]# sed -n '2,3p' sed.txt		只显示第⼆和第三⾏
hello world
你哈珀

[root@NODE01 ~/shell-study]# df -h | sed -n '1p'          接收命令结果数据，显示第一行
Filesystem               Size  Used Avail Use% Mounted on
[root@NODE01 ~/shell-study/sed]# sed  '2a bing' sed.txt		在第⼆⾏后⾯添加数据
sldx it spark hadoop edu it hadoop it scala
hello world
bing
你哈珀

root@NODE01 ~/shell-study/sed]# sed  '4i fengjie \  chenchen'  sed.txt	在第4⾏之前添加两⾏数据
sldx it spark hadoop edu it hadoop it scala
hello world
你哈珀
fengjie   chenchen
dashuju  

[root@NODE01 ~/shell-study/sed]# sed  '2c this is replace'  sed.txt		 替换第⼆⾏数据
sldx it spark hadoop edu it hadoop it scala
this is replace
你哈珀
dashuju 

eg: [root@node01 ~]#  sed -e 's/it/edu360/g' sed.txt   把sed.txt⽂件中的it替换为 edu360,并输出
#命令末端的g表示在行内进行全局替换，也就是说如果某行出现多个it，所有的it都被替换为edu360。
[root@NODE01 ~/shell-study/sed]# sed -e '1,5s/1$/34/g'  sed.txt		同时进⾏ 多个替换
sldx it spark hadoop edu it hadoop it scala
hello world
你哈珀
it is bigdata34
bigdata34
    
#处理1到5行里匹配以1结尾的行，把行内所有以1结尾的替换为34，并打印到屏幕上。

案例代码演示: 
[root@NODE01 ~/shell-study/sed]# more sed.txt 
sldx it spark hadoop edu it hadoop it scala
[root@NODE01 ~/shell-study/sed]# sed -e 's/it/edu360/g' sed.txt 
sldx edu360 spark hadoop edu edu360 hadoop edu360 scala

eg: 使⽤sed获取机器的ip地址
注意:在对⽂件进⾏匹配的时候,^是⼀个⽂件的开始 $是⼀个⽂件的结束
^.*addr:意思是说从开始到addr全部的内容

centos6.9系统命令 [root@node01 ~]#  ifconfig eth0 | grep 'inet addr'| sed 's/^.*addr://g' | sed 's/  Bcast.*$//g' 
centos7.7系统命令 [root@node01 ~]#  ip addr | grep "inet " | grep "eth0" | sed 's/^.*inet //g' | sed 's/\/24.*$//g'

ell-study/sed]# sed ‘2c this is replace’ sed.txt 替换第⼆⾏数据
sldx it spark hadoop edu it hadoop it scala
this is replace
你哈珀
dashuju

eg: [root@node01 ~]# sed -e ‘s/it/edu360/g’ sed.txt 把sed.txt⽂件中的it替换为 edu360,并输出
#命令末端的g表示在行内进行全局替换，也就是说如果某行出现多个it，所有的it都被替换为edu360。
[root@NODE01 ~/shell-study/sed]# sed -e ‘1,5s/1$/34/g’ sed.txt 同时进⾏ 多个替换
sldx it spark hadoop edu it hadoop it scala
hello world
你哈珀
it is bigdata34
bigdata34

#处理1到5行里匹配以1结尾的行，把行内所有以1结尾的替换为34，并打印到屏幕上。

案例代码演示:
[root@NODE01 ~/shell-study/sed]# more sed.txt
sldx it spark hadoop edu it hadoop it scala
[root@NODE01 ~/shell-study/sed]# sed -e ‘s/it/edu360/g’ sed.txt
sldx edu360 spark hadoop edu edu360 hadoop edu360 scala

eg: 使⽤sed获取机器的ip地址
注意:在对⽂件进⾏匹配的时候,^是⼀个⽂件的开始   $是⼀个⽂件的结束          
^.*addr:意思是说从开始到addr全部的内容

centos6.9系统命令 [root@node01 ~]# ifconfig eth0 | grep ‘inet addr’| sed ‘s/^.addr://g’ | sed 's/ Bcast.KaTeX parse error: Expected 'EOF', got '#' at position 36: …[root@node01 ~]#̲ ip addr | gre…//g’