shell脚本
在说什么是shell脚本之前,先说说什么是shell。
shell是外壳的意思,就是操作系统的外壳。我们可以通过shell命令来操作和控制操作系统,比如Linux中的Shell命令就包括ls、cd、pwd等等。
总结来说,Shell是一个命令解释器,它通过接受用户输入的Shell命令来启动、暂停、停止程序的运行或对计算机进行控制。
shell 是一个应用程序,它连接了用户和 Linux 内核,让用户能够更加高效、安全、低成本地使用 Linux 内核,这就是 Shell 的本质。
shell 本身并不是内核的一部分,它只是站在内核的基础上编写的一个应用程序。
Shell是命令解释器(command interpreter),是Unix操作系统的⽤户接⼝,程序从⽤户接⼝得到输⼊信 息,shell将⽤户程序及其输⼊翻译成操作系统内核(kernel)能够识别的指令,并且操作系统内核执⾏ 完将返回的输出通过shell再呈现给⽤户,下图所示⽤户、shell和操作系统的关系:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jfpfWKcr-1615035121760)(C:\Users\MrChang\AppData\Roaming\Typora\typora-user-images\image-20210301143905861.png)]
⼀个系统可以存在多个shell,可以通过cat /etc/shells命令查看系统中安装的shell。
[root@node01 ~]# cat /etc/shells
/bin/sh
/bin/bash
/usr/bin/sh
/usr/bin/bash
操作系统内核(kernel)与shell是独⽴的套件,⽽且都可被替换;不同的操作系统使⽤不同的shell; 同 ⼀个kernel之上可以使⽤不同的shell。 也可以查看当前shell环境是哪种:
[root@node01 ~]# echo $SHELL
那么什么是shell脚本呢?
shell脚本就是由Shell命令组成的执行文件,将一些命令整合到一个文件中,进行处理业务逻辑,脚本不用编译即可运行。它通过解释器解释运行,
所以速度相对来说比较慢。
shell脚本中最重要的就是对shell命令的使用与组合,再使用shell脚本支持的一些语言特性,完成想要的功能。
Shell也是⼀⻔编程语⾔,即shell脚本。在此脚本中,我们可以使⽤⼀些编程语法来进⾏⼀些任务操作。 如:变量、类型、分⽀结构、循环结构、数组、函数等语法。 在shell脚本⾥,必须指定⼀种shell命令解 释器。
注释
“# ”开头的就是注释,被编译器忽略
单行注释: #
多行注释: :<<EOF … EOF 或者 :<<! … ! (:<< 标识多行注释开始,并指定一个标识符作为开始结束的标志)
变量
变量类型
运行shell时,会同时存在三种变量:
局部变量:局部变量在脚本或命令中定义,仅在当前shell实例中有效,其他shell启动的程序不能访问局部变量。
环境变量:所有的程序,包括shell启动的程序,都能访问环境变量,有些程序需要环境变量来保证其正常运行。必要的时候shell脚本也可以定义环境变量。
shell变量:shell变量是由shell程序设置的特殊变量。shell变量中有一部分是环境变量,有一部分是局部变量,这些变量保证了shell的正常运行
变量操作
创建普通变量: name=“test” (=两边不可有空格)
创建只可函数体中使用的局部变量: local name=“test” (使用local修饰的变量在函数体外无法访问,并且local只能在函数体内使用)
使用变量: echo $name 或者 echo ${name} (推荐使用大括号版)
变量重新赋值: name=“new_test” (将原值覆盖)
只读变量: name=“only_read” -> readonly name (使用readonly标识后的变量,不可被修改)
删除变量: unset name; (删除之后不可访问,删除不掉只读变量)
字符串变量
1)单引号
单引号变量var='test' ,只能原样输出,变量无效(自己试验变量有效)
单引号中不能出现一个单独的单引号,转义也不可以
2)双引号
双引号变量var="my name is ${name}",变量有效
可出现转义符
3)拼接字符串
中间无任何+,之类的字符
name=“this is”" my name"; name=“this is my name”; name=name1="this "is" my name"; 等效
name=‘this is’’ my nam’; name=‘this is my name’; name=‘this ’is‘ my name’ 等效
name=‘this’ is ‘my name’或name="this" is "my name" 会报错
./shell-exercise.sh: line 3: my name: command not found
4)获取字符串长度
在${}中使用“#”获取长度
name=“test”;
echo ${#name}; # 输出为4
5)提取子字符串
1:4 从第2个开始 往后截取4个字符
::4 从第一个字符开始 往后截取4个字符
name=“this is my name”;
echo ${name:1:4} #输出 his
echo ${name::4} #输出 this
程序案例:
#!/bin/bash
#''变量
name=$1;
#拼接字符串
echo ${name}
name1="this "is" my name";
echo ${name1}
#'#'获取长度
echo ${#name}
try='exception'
#!/bin/bash
#''变量
name=$1;
#拼接字符串
echo ${name}
name1="this "is" my name";
echo ${name1}
#'#'获取长度
echo ${#name}
try='exception'
#截取字符串下标从0开始
echo ${try::5}
#数组
array_name=(li wang zhao chang);
echo ${array_name[0]}
echo ${array_name[1]}
echo ${array_name[2]}
#运算
a=2
b=2
val=`expr ${a} + ${b}`
echo ${val}
val1=$[2+2]
echo ${val1}
val2=$((2+2))
echo ${val2}
val3=`expr ${a} \* ${b}`
echo ${val3}
val3=`expr ${a} / ${b}`
echo ${val3}
#数字关系运算符
#关系运算符只支持数字,不支持字符串,除非字符串是数字
c=10
d=20
#-eq:检测两个数是否相等,相等返回true,否则返回false
[ ${c} - eq ${d} ]
数组
bash只支持一维数组,不支持多维数组
定义数组:array_name=(li wang xiang zhang) (小括号做边界、使用空格分离)
单独定义数组的元素: array_para[0]=“w”; array_para[3]=“s” (定义时下标不连续也可以)
不单独定义时按照原本下标输出
赋值数组元素:array_name[0]=“zhao”;
获取数组元素:
array_name[0]=“li”
array_name[3]=“zhang”
echo ${array_name[0]} # 输出"li"
echo ${array_name[1]} # 输出" "
echo ${array_name[3]} # 输出"zhang"
echo ${array_name[@]} # 输出"li zhang" 输出数组所有元素,没有元素的下标省略
取得元素个数:${#array_name[@]} 或者 ${#array_name[*]}
取得单个元素长度:${#array_name[1]}
参数传递
获取参数值:
$0 : 固定,代表执行的文件名
$1 : 代表传入的第1个参数
$n : 代表传入的第n个参数
$#:参数个数
$*: 以一个单字符串显示所有向脚本传递的参数。如"$*“用「”」括起来的情况、以"$1 $2 … $n"的形式输出所有参数
$@:与$*相同,但是使用时加引号,并在引号中返回每个参数。
$$:脚本运行的当前进程号
$!:后台运行的最后一个进程的ID
$?: 显示最后命令的退出状态。0表示没有错误,其他任何值表明有错误。
$* 与 $@ 区别
相同点:都是引用所有参数。
不同点:只有在双引号中体现出来。假设在脚本运行时写了三个参数 1、2、3,,则 " * " 等价于 “1 2 3”(传递了一个参数),而 “@” 等价于 “1” “2” “3”(传递了三个参数)。
运算符
算数运算
+ 、-、*、/ : 乘号前必须加\进行转义才可以进行乘法运算
加法运算
val=`expr 2 + 2` (使用linux命令expr进行辅助运算) 运算的时候需要用 ``(票号括起来)
val=$[2+2] (4个空格不是必要的,不同于条件判断)
val=$((2+2))
数字关系运算符
关系运算符只支持数字,不支持字符串,除非字符串的值是数字。
下面假定变量 a 为 10,变量 b 为 20
-eq :检测两个数是否相等,相等返回 true。 [ $a -eq $b ] 返回 false。
-ne: 检测两个数是否不相等,不相等返回 true。 [ $a -ne $b ] 返回 true。
-gt: 检测左边的数是否大于右边的,如果是,则返回 true。 [ $a -gt $b ] 返回 false。
-lt : 检测左边的数是否小于右边的,如果是,则返回 true。 [ $a -lt $b ] 返回 true。
-ge: 检测左边的数是否大于等于右边的,如果是,则返回 true。 [ $a -ge $b ] 返回 false。
-le : 检测左边的数是否小于等于右边的,如果是,则返回 true。 [ $a -le $b ] 返回 true。
字符串运算符
下表列出了常用的字符串运算符,假定变量 a 为 “abc”,变量 b 为 “efg”:
= :检测两个字符串是否相等,相等返回 true。 [ $a = $b ] 返回 false。
!= :检测两个字符串是否相等,不相等返回 true。 [ $a != $b ] 返回 true。
-z :检测字符串长度是否为0,为0返回 true。 [ -z $a ] 返回 false。
-n :检测字符串长度是否为0,不为0返回 true。 [ -n “$a” ] 返回 true。
$ :检测字符串是否为空,不为空返回 true。 [ $a ] 返回 true。
布尔运算符
下表列出了常用的布尔运算符,假定变量 a 为 10,变量 b 为 20:
! :非运算,表达式为 true 则返回 false,否则返回 true。 [ ! false ] 返回 true。
-o :或运算,有一个表达式为 true 则返回 true。 [ $a -lt 20 -o $b -gt 100 ] 返回 true。
-a :与运算,两个表达式都为 true 才返回 true。 [ $a -lt 20 -a $b -gt 100 ] 返回 false。
逻辑运算符
以下介绍 Shell 的逻辑运算符,假定变量 a 为 10,变量 b 为 20:
&& :逻辑的 AND [[ $a -lt 100 && $b -gt 100 ]] 返回 false
|| :逻辑的 OR [[ $a -lt 100 || $b -gt 100 ]] 返回 true
文件运算符
-b file :检测文件是否是块设备文件,如果是,则返回 true。 [ -b $file ] 返回 false。
-c file :检测文件是否是字符设备文件,如果是,则返回 true。 [ -c $file ] 返回 false。
-d file :检测文件是否是目录,如果是,则返回 true。 [ -d $file ] 返回 false。
-f file :检测文件是否是普通文件(既不是目录,也不是设备文件),如果是,则返回 true。 [ -f $file ] 返回 true。
-g file :检测文件是否设置了 SGID 位,如果是,则返回 true。 [ -g $file ] 返回 false。
-k file :检测文件是否设置了粘着位(Sticky Bit),如果是,则返回 true。 [ -k $file ] 返回 false。
-p file :检测文件是否是有名管道,如果是,则返回 true。 [ -p $file ] 返回 false。
-u file :检测文件是否设置了 SUID 位,如果是,则返回 true。 [ -u $file ] 返回 false。
-r file :检测文件是否可读,如果是,则返回 true。 [ -r $file ] 返回 true。
-w file :检测文件是否可写,如果是,则返回 true。 [ -w $file ] 返回 true。
-x file :检测文件是否可执行,如果是,则返回 true。 [ -x $file ] 返回 true。
-s file :检测文件是否为空(文件大小是否大于0),不为空返回 true。 [ -s $file ] 返回 true。
-e file :检测文件(包括目录)是否存在,如果是,则返回 true。 [ -e $file ] 返回 true。
执行相关
脚本⽂件的执⾏
第⼀种执⾏⽅式: 使⽤bash程序来调⽤执⾏,只需要有读®权限即可
[root@node01 ~]# sh *.sh
或者
[root@node01 ~]# bash *.sh
第⼆种执⾏⽅式:直接写script,必须要有rx权限才⾏
[root@node01 ~]# ./*.sh
绝对路径写法: /hadoop/*.sh
相对路径写法: ./*.sh
第三种:借助变量PATH功能:
将*.sh放⼊~/bin⽬录下,因为PATH⾥拼接了~/bin⽬录。
注意:~/bin⽬录必须⾃⾏创建
在~/bin目录下创建shell.sh就可以不在指定目录下运行
[root@NODE01 /bin]# vim shell.sh
[root@NODE01 /bin]# chmod +x shell.sh
[root@NODE01 ~]# shell.sh
name
第四种:source shell.sh
[root@NODE01 ~/shell-study]# source shell.sh
/opt/gitblit
[root@NODE01 ~/shell-study]# source shell-xh.sh
2021-03-04
2021-03-04
命令替换
命令替换与变量替换差不多,都是用来重组命令行的,先完成引号里的命令行,然后将其结果替换出来,再重组成新的命令行。
执行命令:
`ls /etc` : 反引号 (所有的unix系统都支持)
$(ls /etc) : $+() (部分unix系统不支持)
多个嵌套使用时,从内向外执行
for file in \s /etc\ 或 for file in $(ls /etc) 循环中使用
`dirname $0` 获取脚本文件所在的目录
path=$(cd `dirname $0`;pwd) : 获取脚本当前所在目录,并且执行cd命令到达该目录,使用pwd获取路径并赋值到path变量
算术运算
$[ ] : 加减乘除,不必添加空格
$(( )) :加减乘除等,不必添加空格
逻辑判断
[ ] : 中括号旁边和运算符两边必须添加空格 (可以使用,不推荐)
[[ ]]:中括号旁边和运算符两边必须添加空格 (字符串验证时,推荐使用)
(()) : 小括号旁边和运算符两边必须添加空格 (数字验证时,推荐使用)
[[]] 和 (()) 分别是[ ]的针对数学比较表达式和字符串表达式的加强版。
使用[[ … ]]条件判断结构,而不是[ … ],能够防止脚本中的许多逻辑错误。比如,&&、||、<和> 操作符能够正常存在于[[ ]]条件判断结构中,但是如果出现在[ ]结构中的话,会报错。
比如可以直接使用if [[ $a != 1 && $a != 2 ]], 如果不适用双括号, 则为if [ $a -ne 1] && [ $a != 2 ]或者if [ $a -ne 1 -a $a != 2 ]。
[[ ]]中增加模式匹配特效;
(( ))不需要再将表达式里面的大小于符号转义,除了可以使用标准的数学运算符外,还增加了一些符号
输出
echo
仅用于字符串的输出,没有使用printf作为输出的移植性好,建议使用printf
printf
printf 不会像 echo 自动添加换行符,我们可以手动添加 \n
无大括号,直接以空格分隔
格式:printf format-string [arguments...] 其中(format-string: 格式控制字符串、arguments: 参数列表)
案例:printf "%-10s %-8s %-4.2f\n" 郭靖 男 66.1234
%s %c %d %f 都是格式替代符
d:Decimal 十进制整数 对应位置参数必须是十进制整数,否则报错!
s:String 字符串 对应位置参数必须是字符串或者字符型 否则报错
c:Char 字符 对应位置参数必须是字符串或者字符型 否则报错
f:Float 浮点 对应位置参数必须是数字型 否则报错
%-10s : 指一个宽度为10个字符(-表示左对齐,没有则表示右对齐),任何字符都会被显示在10个字符宽的字符内,如果不足则自动以空格填充,超过也会将内容全部显示出来。
%-4.2f :指格式化为小数,宽度为4个字符,其中.2指保留2位小数。
转义符:
\a :警告字符,通常为ASCII的BEL字符
\b :后退
\c :抑制(不显示)输出结果中任何结尾的换行字符(只在%b格式指示符控制下的参数字符串中有效),而且,任何留在参数里的字符、任何接下来的参数以及任何留在格式字符串中的字符,都被忽略
\f :换页(formfeed)
\n :换行
\r :回车(Carriage return)
\t :水平制表符
\v :垂直制表符
\ :一个字面上的反斜杠字符
\ddd :表示1到3位数八进制值的字符。仅在格式字符串中有效
\0ddd :表示1到3位的八进制值字符
流程控制
和Java、PHP等语言不一样,sh的流程控制不可为空,即if或者else的大括号中无任何语句
if else
if
if condition
then
command1
command2
...
commandN
fi
if else
if condition
then
command1
command2
...
commandN
else
command
fi
if else-if else
if condition1
then
command1
elif condition2
then
command2
else
commandN
fi
for
for var in item1 item2 ... itemN
do
command1
command2
...
commandN
done
程序案例:1-4里面的奇数之和
#!/bin/bash
sum=0
for num in 1 2 3 4;
do
re=${num}%2
if (( ${re} == 1 ));
then
sum=$[${sum}+${num}]
fi
done
echo ${sum}
while
while condition
while condition
do
command
done
while 无限循环
while :
do
command
done
until
until 循环执行一系列命令直至条件为 true 时停止。
until 循环与 while 循环在处理方式上刚好相反。
until condition
do
command
done
case
Shell case语句为多选择语句。可以用case语句匹配一个值与一个模式,如果匹配成功,执行相匹配的命令。
case需要一个esac(就是case反过来)作为结束标记,每个case分支用右圆括号,用两个分号表示break,其中“;;”不是跳出循环,是不在去匹配下面的模式
case语句格式如下:
case 值 in
模式1)
command1
command2
...
commandN
;;
模式2)
command1
command2
...
commandN
;;
esac
跳出循环
break :跳出总循环
continue:跳出当前循环,继续下一次循环
定义函数
可以带function fun() 定义,也可以直接fun() 定义,不带任何参数。
函数定义
[ function ] funname()
{
action;
[return int;]
}
参数传递
调用函数: fun_name 2 3 4
函数中使用:和shell取用函数相同 $n $# $* $? 或者加上{}
funWithParam(){
echo "第一个参数为 $1 !"
echo "第二个参数为 $2 !"
echo "第十个参数为 $10 !"
echo "第十个参数为 ${10} !"
echo "第十一个参数为 ${11} !"
echo "参数总数有 $# 个!"
echo "作为一个字符串输出所有参数 $* !"}
funWithParam 1 2 3 4 5 6 7 8 9 34 73
echo $? \# 判断执行是否成功
函数返回值
return字样可存在也可不存在
return 只能为 return [0-255],此处的返回可作为函数执行的状态,通过$?获取的便是这个返回值
如果不加return , 则默认最后一条语句的执行状态所为函数执行状态的返回值,如果最后一条语句执行成功,则$?为0,否则不为0
使用函数返回值(Janusgraph图数据库官方启动服务脚本片段)
return返回的数字,只是作为函数执行状态的返回值,也就是接下来$?获取的值
对于类似于下面的BIN=\abs_path``语句,获取的是函数体内所有的echo、printf输出组合成的一个字符串
abs_path() {
SOURCE="${BASH_SOURCE[0]}"
while [ -h "$SOURCE" ]; do
DIR="$( cd -P "$( dirname "$SOURCE" )" && pwd )"
SOURCE="$(readlink "$SOURCE")"
[[ $SOURCE != /* ]] && SOURCE="$DIR/$SOURCE"
done
echo "test"
echo "$( cd -P "$( dirname "$SOURCE" )" && pwd )"
# 此函数的两个echo输出会组合成一个字符串作为下述BIN的值
BIN=`abs_path` # BIN赋值函数返回值,如果没有return,则函数中所有的echo、printf输出组合成一个字符串传入BIN
path=${BIN}/nodetool # 可直接使用
输入输出重定向
一般情况下,每个 Unix/Linux 命令运行时都会打开三个文件:
标准输入文件(stdin):stdin的文件描述符为0,Unix程序默认从stdin读取数据。
标准输出文件(stdout):stdout 的文件描述符为1,Unix程序默认向stdout输出数据。
标准错误文件(stderr):stderr的文件描述符为2,Unix程序会向stderr流中写入错误信息。
默认情况下,command > file 将 stdout 重定向到 file,command < file 将stdin 重定向到 file。
如果希望执行某个命令,但又不希望在屏幕上显示输出结果,那么可以将输出重定向到 /dev/null:
输入重定向
bash.sh < file : 将脚本的输入重定向到file,由file提供参数
输出重定向
bash.sh > file : 将脚本的输出数据重定向到file中,覆盖数据
bash.sh >> file : 将脚本的输出数据重定向到file中,追加数据
command >> file 2>&1 : 将 stdout 和 stderr 合并后重定向到 file
读取外部输入
命令:read arg (脚本读取外部输入并赋值到变量上)
在shell脚本执行到上述命令时,停止脚本执行并等待外部输入,将外部输入赋值到arg变量上,继续执行脚本
文件引用
引用其他的文件之后,可以使用其变量、函数等等,相当于将引用的文件包含进了当前文件
两种方式:
. file_path\file_name
source file_path\file_name
read命令说明:
read [选项] 值
read -p(提示语句) -n(字符个数) -t(等待时间,单位为秒) –s(隐藏输⼊)
[root@NODE01 ~]# read -t 30 -p "please input your name: " NAME
please input your name: MrChang
[root@NODE01 ~]# echo $NAME
MrChang
[root@NODE01 ~]# read -s -p "please input your age :" AGE
please input your age : 注意:如果隐藏输⼊,这⾥的结果是看不到的
[root@NODE01 ~]# echo $AGE
18
[root@NODE01 ~]# read -n 1 -p "please input your sex [M/F]:" GENDER
please input your sex [M/F]:M
[root@NODE01 ~]# echo $GENDER
M
注意:
1.在输⼊时,如果输错了要删除要执⾏control+delete
2.符号不要输⼊中⽂
3.NAME与"之间要有空格
颜色标识
printf “\033[32m SUCCESS: yay \033[0m\n”;
printf “\033[33m WARNING: hmm \033[0m\n”;
printf “\033[31m ERROR: fubar \033[0m\n”;
输出结果:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RxToSzp6-1615035121763)(C:\Users\MrChang\AppData\Roaming\Typora\typora-user-images\image-20210306204140745.png)]
长句换行
在shell中为避免一个语句过长,可以使用“\”进行换行
使用“\”换行,在脚本执行过程中还是当做一行一个语句执行,不同于enter直接换行
注意:\ 前添加一个空格 。 \ 后无空格直接换行。
/mysql/bin/mysql
-h test_host -P 000
-u test_user -ptest_password ;
shell操作mysql
下面案例为登录mysql,并选择操作数据库,之后进行导入数据
/mysql/mysql/bin/mysql \
-h test_host -P 000 \
-u test_user -ptest_password \
-e"use test_database; source data_faile; " # -e 代表执行sql语句
-u 用户名
-p 用户密码
-h 服务器ip地址
-D 连接的数据库
-N 不输出列信息
-B 使用tab键 代替 分隔符
-e 执行的SQL语句
退出脚本
命令:exit
在退出脚本时使用不同的错误码,这样可以根据错误码来判断发生了什么错误。
在绝大多数 shell 脚本中,exit 0 表示执行成功,exit 1 表示发生错误。
对错误与错误码进行一对一的映射,这样有助于脚本调试。
命令:set -e 或者 set +e
set -e表示从当前位置开始,如果出现任何错误都将触发exit。相反,set +e表示不管出现任何错误继续执行脚本。
如果脚本是有状态的(每个后续步骤都依赖前一个步骤),那么请使用set -e,在脚本出现错误时立即退出脚本。
如果要求所有命令都要执行完(很少会这样),那么就使用set +e。
shell脚本调试
检查是否有语法错误-n:
bash -n script_name.sh
使用下面的命令来执行并调试 Shell 脚本-x:
bash -x script_name.sh
调试count_odd_number.sh 程序案例:
#!/bin/bash
#用于计算数组中奇数的和
sum=0
for num in 1 2 3 4;
do
re=${num}%2
if (( ${re} == 1 ));
then
sum=$[${sum}+${num}]
fi
done
echo ${sum}
首先检查有无语法错误:
bash -n count_odd_number.sh
没有输出,说明没有错误,开始实际调试:
bash -x count_odd_number.sh
调试结果如下:
-
+ sum=0 + for num in 1 2 3 4 + re=1%2 + (( 1%2 == 1 )) + sum=1 + for num in 1 2 3 4 + re=2%2 + (( 2%2 == 1 )) + for num in 1 2 3 4 + re=3%2 + (( 3%2 == 1 )) + sum=4 + for num in 1 2 3 4 + re=4%2 + (( 4%2 == 1 )) + echo 4 4
其中的输出显示了程序执行的每一步,通过观察程序执行的步骤是否满足预期从而达到调试的效果
带有 + 表示的是 Shell 调试器的输出,不带 + 表示程序的输出。
案例:
这是es(ElasticSearch)官方启动服务的脚本,看可不可以理解吧~
#!/usr/bin/env bash
###### CONTROLLING STARTUP:
#
###### This script relies on a few environment variables to determine startup
behavior, those variables are:
#
ES_PATH_CONF -- Path to config directory
ES_JAVA_OPTS -- External Java Opts on top of the defaults set
#
Optionally, exact memory values can be set using the `ES_JAVA_OPTS`. Note that
the Xms and Xmx lines in the JVM options file must be commented out. Example
values are "512m", and "10g".
#
ES_JAVA_OPTS="-Xms8g -Xmx8g" ./bin/elasticsearch
source "`dirname "$0"`"/elasticsearch-env
parse_jvm_options() {
if [ -f "$1" ]; then
echo "`grep "^-" "$1" | tr '\n' ' '`"
fi
}
ES_JVM_OPTIONS="$ES_PATH_CONF"/jvm.options
ES_JAVA_OPTS="`parse_jvm_options "$ES_JVM_OPTIONS"` $ES_JAVA_OPTS"
manual parsing to find out, if process should be detached
if ! echo $* | grep -E '(^-d |-d$| -d |--daemonize$|--daemonize )' > /dev/null; then
exec \
"$JAVA" \
$ES_JAVA_OPTS \
-Des.path.home="$ES_HOME" \
-Des.path.conf="$ES_PATH_CONF" \
-cp "$ES_CLASSPATH" \
org.elasticsearch.bootstrap.Elasticsearch \
"$@"
else
exec \
"$JAVA" \
$ES_JAVA_OPTS \
-Des.path.home="$ES_HOME" \
-Des.path.conf="$ES_PATH_CONF" \
-cp "$ES_CLASSPATH" \
org.elasticsearch.bootstrap.Elasticsearch \
"$@" \
<&- &
retval=$?
pid=$!
[ $retval -eq 0 ] || exit $retval
if [ ! -z "$ES_STARTUP_SLEEP_TIME" ]; then
sleep $ES_STARTUP_SLEEP_TIME
fi
if ! ps -p $pid > /dev/null ; then
exit 1
fi
exit 0
fi
exit $?
awk介绍
cut命令
cut [选项] ⽂件名 默认分割符是制表符,⼀个制表符代表⼀列
选项:
-f 列号: 提取第⼏列
-d 分隔符: 按照指定分隔符分割列
[root@NODE01 ~/shell-study]# cut -f 2 shell.sh 提取第⼆列
ssh root@NODE01 "cd /opt/gitblit;pwd"
root@NODE01 ~/shell-study]# cut -d ":" -f 1,3 /etc/passwd 以:分割,提取第1和第3列
root:0
bin:1
daemon:2
adm:3
lp:4
sync:5
shutdown:6
halt:7
mail:8
operator:11
games:12
ftp:14
nobody:99
systemd-network:192
dbus:81
polkitd:999
sshd:74
postfix:89
ntp:38
jerry:1000
oinstall:1001
rpc:32
rpcuser:29
nfsnobody:65534
oracle:1002
[root@NODE01 ~/shell-study]# cat /etc/passwd | grep /bin/bash | grep -v root | cut -d ":" -f 1 获取所有可登陆的普通⽤户⽤户名
jerry
oinstall
oracle
cut的局限性 不能分割不定⻓度的空格
⽐如:df -h 不能使⽤cut分割
[root@node01 ~]# df -h | grep sda1 | cut -f 5
awk介绍
⼀个强⼤的⽂本分析⼯具
把⽂件逐⾏的读⼊,以一个空格或多个空格或者是制表符为默认分隔符将每⾏切⽚,切开的部分再进⾏各种分析处理。
语法:awk ‘条件1{动作1}条件2{动作2}...’⽂件名
条件(Pattern):
⼀般使⽤关系表达式作为条件: > >= <=等
动作(Action):
格式化输出
流程控制语句
[root@NODE01 ~/shell-study]# df -h | awk '{print $1 "\t" $3}' 显示第⼀列和第三列
Filesystem Used
/dev/mapper/centos-root 17G
devtmpfs 0
tmpfs 0
tmpfs 12M
tmpfs 0
/dev/sda1 142M
tmpfs 0
FS内置变量
eg: 输出可登陆⽤户的⽤户名和UID
[root@NODE01 ~]# cat /etc/passwd | grep "/bin/bash" | awk 'BEGIN {FS=":"} {print $1 "\t"$3 }'
root 0
jerry 1000
oinstall 1001
oracle 1002
这⾥使⽤FS内置变量指定分隔符为:,⽽且使⽤BEGIN保证第⼀⾏也操作,因为awk命令会在读取第⼀⾏后再 执⾏条件
注意:指定分隔符⽤-F更简单
[root@NODE01 ~]# cat /etc/passwd | grep "/bin/bash" | awk -F: '{print $1 "\t"$3 }'
root 0
jerry 1000
oinstall 1001
oracle 1002
查看文件中以,分隔的第71个字段和第26个字段(其实就是打印第26列和第71列)
[root@node ceshi]# grep CN0000000926537 ceshi.txt |awk -F, '{print $71,$26}'
"300" "2021-01-16"
eg: 判断⼀下根⽬录的使⽤情况
[root@NODE01 ~]# df -h |grep sda1 | awk '{print $5}' | awk -F% '{print $1} $1<80{print "info"}$1>80{print "warning"}'
14
info
BEGIN 在所有数据读取之前执⾏
[root@NODE01 ~/shell-study/awk]# awk 'BEGIN {printf "first Line \n"} {printf $2"\t" }' aa.txt
first Line #在输出之前使⽤BEGIN输出内容
how !
END 在所有数据执⾏之后执⾏
[root@NODE01 ~/shell-study/awk]# awk 'END {printf "The End \n"} {print $2}' aa.txt
how
!
The End
所有命令执⾏完后,输出⼀句"The End"
#print和printf和java的print和println类似,前者输出换行后者直接跟在后面
[root@NODE01 ~/shell-study/awk]# df -h | grep sda1 | awk '{print $5}'
14%
[root@NODE01 ~/shell-study/awk]# df -h | grep sda1 | awk '{print $5}' | awk -F% '{print $1}'
14
[root@NODE01 ~/shell-study/awk]# df -h | grep sda1 | awk '{print $5}' | cut -d"%" -f 1
14
cut 命令:
cut [选项] 文件名
选项可以为: -f 列号:提取第几列
-d 分隔符:按照指定的分隔符将一行分隔成数列,cut默认的分隔符是制表符
eg: 获取所有⽤户信息⾥的⽤户名:
[root@node01 ~]# cat /etc/passwd | awk -F: '{print $1}'
[root@node01 ~]# awk -F: '{print $1}' /etc/passwd
eg: 获取当前机器的ip地址: ifconfig
[root@NODE01 ~]# ifconfig | grep 'inet' | awk '{print $2}' | awk 'NR==1'
192.168.8.101
# awk 'NR==1'只取第一行的数据
打印文本文件的总行数:
[root@NODE01 ~/shell-study/awk]# awk 'END{print NR}' aa.txt
2
sed介绍
sed命令介绍
sed: stream editor
sed是⼀个⾮交互性⽂本流编辑器。它编辑⽂件或标准输⼊导出的⽂本拷⻉。标准输⼊可能是来⾃键盘、 ⽂件重定向、字符串或变量,或者是⼀个管道的⽂本。
注意: sed并不与初始化⽂件打交道, 它操作的只是⼀个拷⻉,然后所有的改动如果没有重定向到⼀个 ⽂件,将输出到屏幕。
语法:sed [选项]’[动作]’ ⽂件名
常⽤选项:
-n 使⽤安静(silent)模式。显示经过sed特殊处理的数据。
-e 允许多点编辑,只是控制台输出替换内容,文档不会改变; -i 直接修改读取的档案内容,⽽不是由屏幕输出。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YvrCYdzX-1615035121764)(C:\Users\MrChang\AppData\Roaming\Typora\typora-user-images\image-20210301145002624.png)]
sed命令的使用
[root@NODE01 ~/shell-study/sed]# sed '2p' sed.txt 显示第⼆⾏和所有数据
sldx it spark hadoop edu it hadoop it scala
hello world
hello world
你哈珀
[root@NODE01 ~/shell-study/sed]# sed -n '2,3p' sed.txt 只显示第⼆和第三⾏
hello world
你哈珀
[root@NODE01 ~/shell-study]# df -h | sed -n '1p' 接收命令结果数据,显示第一行
Filesystem Size Used Avail Use% Mounted on
[root@NODE01 ~/shell-study/sed]# sed '2a bing' sed.txt 在第⼆⾏后⾯添加数据
sldx it spark hadoop edu it hadoop it scala
hello world
bing
你哈珀
root@NODE01 ~/shell-study/sed]# sed '4i fengjie \ chenchen' sed.txt 在第4⾏之前添加两⾏数据
sldx it spark hadoop edu it hadoop it scala
hello world
你哈珀
fengjie chenchen
dashuju
[root@NODE01 ~/shell-study/sed]# sed '2c this is replace' sed.txt 替换第⼆⾏数据
sldx it spark hadoop edu it hadoop it scala
this is replace
你哈珀
dashuju
eg: [root@node01 ~]# sed -e 's/it/edu360/g' sed.txt 把sed.txt⽂件中的it替换为 edu360,并输出
#命令末端的g表示在行内进行全局替换,也就是说如果某行出现多个it,所有的it都被替换为edu360。
[root@NODE01 ~/shell-study/sed]# sed -e '1,5s/1$/34/g' sed.txt 同时进⾏ 多个替换
sldx it spark hadoop edu it hadoop it scala
hello world
你哈珀
it is bigdata34
bigdata34
#处理1到5行里匹配以1结尾的行,把行内所有以1结尾的替换为34,并打印到屏幕上。
案例代码演示:
[root@NODE01 ~/shell-study/sed]# more sed.txt
sldx it spark hadoop edu it hadoop it scala
[root@NODE01 ~/shell-study/sed]# sed -e 's/it/edu360/g' sed.txt
sldx edu360 spark hadoop edu edu360 hadoop edu360 scala
eg: 使⽤sed获取机器的ip地址
注意:在对⽂件进⾏匹配的时候,^是⼀个⽂件的开始 $是⼀个⽂件的结束
^.*addr:意思是说从开始到addr全部的内容
centos6.9系统命令 [root@node01 ~]# ifconfig eth0 | grep 'inet addr'| sed 's/^.*addr://g' | sed 's/ Bcast.*$//g'
centos7.7系统命令 [root@node01 ~]# ip addr | grep "inet " | grep "eth0" | sed 's/^.*inet //g' | sed 's/\/24.*$//g'
ell-study/sed]# sed ‘2c this is replace’ sed.txt 替换第⼆⾏数据
sldx it spark hadoop edu it hadoop it scala
this is replace
你哈珀
dashuju
eg: [root@node01 ~]# sed -e ‘s/it/edu360/g’ sed.txt 把sed.txt⽂件中的it替换为 edu360,并输出
#命令末端的g表示在行内进行全局替换,也就是说如果某行出现多个it,所有的it都被替换为edu360。
[root@NODE01 ~/shell-study/sed]# sed -e ‘1,5s/1$/34/g’ sed.txt 同时进⾏ 多个替换
sldx it spark hadoop edu it hadoop it scala
hello world
你哈珀
it is bigdata34
bigdata34
#处理1到5行里匹配以1结尾的行,把行内所有以1结尾的替换为34,并打印到屏幕上。
案例代码演示:
[root@NODE01 ~/shell-study/sed]# more sed.txt
sldx it spark hadoop edu it hadoop it scala
[root@NODE01 ~/shell-study/sed]# sed -e ‘s/it/edu360/g’ sed.txt
sldx edu360 spark hadoop edu edu360 hadoop edu360 scala
eg: 使⽤sed获取机器的ip地址
注意:在对⽂件进⾏匹配的时候,^是⼀个⽂件的开始 $是⼀个⽂件的结束
^.*addr:意思是说从开始到addr全部的内容
centos6.9系统命令 [root@node01 ~]# ifconfig eth0 | grep ‘inet addr’| sed ‘s/^.addr://g’ | sed 's/ Bcast.KaTeX parse error: Expected 'EOF', got '#' at position 36: …[root@node01 ~]#̲ ip addr | gre…//g’