shell入门

最新推荐文章于 2024-07-17 19:38:37 发布

SHFQLL

最新推荐文章于 2024-07-17 19:38:37 发布

阅读量382

点赞数 1

分类专栏：脚本

本文链接：https://blog.csdn.net/SHFQLL/article/details/98106767

版权

脚本专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1.shell概述

1.1大数据程序员为什么要学习shell呢?

1.需要看懂运维人员编写的shell程序。

2.偶尔会编写一些简单shell程序管理集群、提高开发技术。

1.2shell概述

shell是一个命令行解释器，它接收应用程序用户命令，然后调用操作系统内核。

[外链图片转存失败(img-pddrfzMb-1564665482446)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1564622974801.png)]

shell还是一个功能相当强大的编程语言，易编写、易调试、灵活性强。

出现了竞争对手python，结合shell的优点，避开了shell的缺点。

2.shell解析器

2.1.Linux提供的Shell解析器有

[hadoop@hadoop01 ~]$ cat /etc/shells 
/bin/sh
/bin/bash
/sbin/nologin
/bin/dash
/bin/tcsh
/bin/csh

2.2.bash和sh的关系

[hadoop@hadoop01 bin]$ ll |grep bash
-rwxr-xr-x. 1 root root 941720 Jul 24  2015 bash
lrwxrwxrwx. 1 root root      4 Apr 28 03:48 sh -> bash

2.2.bash和sh的关系

2.3.Centos默认的解析器是bash

[hadoop@hadoop01 bin]$ echo $SHELL
/bin/bash

3.shell脚本入门

3.1. 脚本格式

脚本以#!/bin/bash 开头，指定解析器。

3.2. 第一个Shell脚本：helloworld

3.2.1. 需求

创建一个Shell脚本，输出helloword。

3.2.2. 案例实操

[hadoop@hadoop01 shell]$ vim helloworld.sh
#!/bin/bash
echo "helloworld  data"

3.2.3. 脚本的常用执行方式

第一种：采用bash或sh+脚本的相对路径或绝对路径（不用赋予权限）

sh+脚本的相对路径

[hadoop@hadoop01 shell]$ sh helloworld.sh 
helloworld  data

sh+脚本的绝对路径

[hadoop@hadoop01 shell]$ sh /home/hadoop/data/shell/helloworld.sh 
helloworld  data

bash+脚本的相对路径

[hadoop@hadoop01 shell]$ bash helloworld.sh 
helloworld  data

bash+脚本的绝对路径

[hadoop@hadoop01 shell]$bash/home/hadoop/data/shell/helloworld.sh 
helloworld  data

第二种：采用输入脚本的绝对路径或相对路径执行脚本（必须具有可执行权限+x）

首先要赋予helloworld.sh脚本的+x权限

[hadoop@hadoop01 shell]$ ll |grep helloworld.sh 
-rw-rw-r-- 1 hadoop hadoop    38 Aug  1 09:53 helloworld.sh
[hadoop@hadoop01 shell]$ chmod 777 helloworld.sh //赋予权限
[hadoop@hadoop01 shell]$ ll |grep helloworld.sh  
-rwxrwxrwx 1 hadoop hadoop    38 Aug  1 09:53 helloworld.sh

执行脚本：

相对路径

[hadoop@hadoop01 shell]$ ./helloworld.sh   
helloworld  data

绝对路径

[hadoop@hadoop01 shell]$ ./home/hadoop/data/shell/helloworld.sh
helloworld  data

注意：第一种执行方法，本质是bash解析器帮你执行脚本，所以脚本本身不需要执行权限。第二种执行方法，本质是脚本需要自己执行，所以需要执行权限

3.3. 第二个shell脚本，多命令处理

3.3.1. 需求

在/home/hadoop/data/shell/目录下创建一个banzhang.txt,在banzhang.txt文件中增加“I LOVE CLASS”.

3.3.2. 案例实操

[hadoop@hadoop01 shell]$ vim test01.sh
#!/bin/bash

cd /home/hadoop/data/shell/
touch banzhang.txt
echo "I LOVE CLASS" >> banzhang.txt                                                                                                         
"test01.sh" [New] 5L, 96C written                                                           
[hadoop@hadoop01 shell]$ chome 777 test01.sh 
-bash: chome: command not found
[hadoop@hadoop01 shell]$ chmod 777 test01.sh    
[hadoop@hadoop01 shell]$ ./test01.sh 
[hadoop@hadoop01 shell]$ ls
banzhang.txt  helloworld.sh  logs  mock-data  mockLogData.sh  test01.sh  zookeeper.out
[hadoop@hadoop01 shell]$ cat banzhang.txt 
I LOVE CLASS

4. shell中的变量

4.1. 系统变量

4.1.1. 常用系统变量

$H O M E 、$ PWD、 $S H E L L 、$ USER等。

4.1.2. 案例实操

（1）查看系统变量的值

[hadoop@hadoop01 shell]$ echo $HOME
/home/hadoop
[hadoop@hadoop01 shell]$ echo $USER
hadoop
[hadoop@hadoop01 shell]$ echo $SHELL
/bin/bash
[hadoop@hadoop01 shell]$ echo $PWD
/home/hadoop/data/shell

（2）显示当前shell中的所有变量：set

/home/hadoop/data/shell
[hadoop@hadoop01 shell]$ set
BASH=/bin/bash
BASHOPTS=checkwinsize:cmdhist:expand_aliases:extquote:force_fignore:hostcomplete:interactive_comments:login_shell:progcomp:promptvars:sourcepath
BASH_ALIASES=()
BASH_ARGC=()
BASH_ARGV=()
BASH_CMDS=()
BASH_LINENO=()
BASH_SOURCE=()
BASH_VERSINFO=([0]="4" [1]="1" [2]="2" [3]="1" [4]="release" [5]="x86_64-redhat-linux-gnu")
BASH_VERSION='4.1.2(1)-release'
COLORS=/etc/DIR_COLORS
COLUMNS=110
CVS_RSH=ssh
DIRSTACK=()
EUID=500
FLINK_HOME=/home/hadoop/apps/flink
FLUME_HOME=/home/hadoop/apps/flume
GROUPS=()
G_BROKEN_FILENAMES=1
HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.7
HBASE_HOME=/home/hadoop/apps/hbase
HISTCONTROL=ignoredups
HISTFILE=/home/hadoop/.bash_history
HISTFILESIZE=1000
HISTSIZE=1000
HIVE_HOME=/home/hadoop/apps/hive
HOME=/home/hadoop
HOSTNAME=hadoop01
HOSTTYPE=x86_64
ID=500
IFS=$' \t\n'
JAVA_HOME=/home/hadoop/apps/jdk1.8.0_73
KAFKA_HOME=/home/hadoop/apps/kafka
LANG=en_US.UTF-8
LESSOPEN='||/usr/bin/lesspipe.sh %s'
LINES=22
LOGNAME=hadoop

4.2. 自定义变量

4.2.1. 基本语法

（1）定义变量：变量=值（中间不能有空格）

（2）撤销变量：unset 变量

（3）声明静态变量：readonly变量，注意：不能unset

4.2.2. 变量定义规则

（1）变量名称可以由字母、数字和下划线组成，但是不能以数字开头，环境变量名建议大写。

（2）等号两侧不能由空格。

（3）在bash中，变量默认类型都是字符串类型，无法直接进行数值计算。

（4）变量的值如果有空格，需要使用双引号或单引号括起来。

4.2.3.案例实操

（1）定义变量C

[hadoop@hadoop01 ~]$ C=kk
[hadoop@hadoop01 ~]$ echo $C
kk

（2）给变量C重新赋值

[hadoop@hadoop01 ~]$ C=44
[hadoop@hadoop01 ~]$ echo $C
44

（3）撤销变量C

[hadoop@hadoop01 ~]$ unset C
[hadoop@hadoop01 ~]$ echo $C

（4）声明静态变量c=2，不能unset。

[hadoop@hadoop01 ~]$ readonly c=2
[hadoop@hadoop01 ~]$ echo $c
2
[hadoop@hadoop01 ~]$ unset c
-bash: unset: c: cannot unset: readonly variable

（5）在bash中，变量的默认类型都是字符串类型，无法直接进行数值运算。

[hadoop@hadoop01 ~]$ C=1+2
[hadoop@hadoop01 ~]$ echo $C
1+2

（6）变量的值如果有空格，需要使用双引号或单引号括起来。

[hadoop@hadoop01 ~]$ D=I LOVE YOU
-bash: LOVE: command not found
[hadoop@hadoop01 ~]$ D="I LOVE YOU"
[hadoop@hadoop01 ~]$ echo $D
I LOVE YOU
[hadoop@hadoop01 ~]$ D='I LOVE YOU'
[hadoop@hadoop01 ~]$ echo $D       
I LOVE YOU

（7）可把变量提升为全局环境变量，可供其他Shell程序使用。

export 变量名

[hadoop@hadoop01 shell]$ vim helloworld.sh 
#!/bin/bash

在文件中增加echo $D
echo "helloworld  data"
echo $D

"helloworld.sh" 5L, 46C written                                  
[hadoop@hadoop01 shell]$ echo $D
I LOVE YOU
[hadoop@hadoop01 shell]$ ./helloworld.sh 
helloworld  data

发现并没有打印输出变量D的值

//提升为全局变量
[hadoop@hadoop01 shell]$ export D
[hadoop@hadoop01 shell]$ ./helloworld.sh 
helloworld  data
I LOVE YOU

4.3. 特殊变量：$n

4.3.1. 基本语法

$n（功能描述：n为数字，$0代表该脚本名称，$1- $9 代表第一到第九个参数，十以上的参数需要使用大括号包含，如$ {10}）

4.3.2. 案例实操

输出该脚本文件名称、输入参数1、参数2和输出参数3的值。

[hadoop@hadoop01 shell]$ touch parameter.sh
[hadoop@hadoop01 shell]$ vim parameter.sh 
#!/bin/bash
echo "$0   $1    $2  $3"

[hadoop@hadoop01 shell]$ ./parameter.sh I LOVE YOU
./parameter.sh   I    LOVE  YOU

4.4. 特殊变量：$#

4.4.1. 基本语法

$#(功能描述：获取所有输入参数的个数，常用于循环)

4.4.2. 案例实操

获取输入参数的个数

[hadoop@hadoop01 shell]$ vim parameter.sh 
#!/bin/bash
echo "$0   $1    $2  $3"
echo $#

~                                                                                                             
"parameter.sh" 3L, 45C written                                                              
[hadoop@hadoop01 shell]$ chmod 777 parameter.sh         
[hadoop@hadoop01 shell]$ ./parameter.sh I LOVE YOU
./parameter.sh   I    LOVE  YOU
3

4.5. 特殊变量： $* 、$ @

4.5.1.基本语法

$* (功能简介：这个变量代表命令行中所有的参数，$ * 把所有的参数堪称一个整体)

$@ (功能简介：这个变量也代表命令行中所有的参数，不过$ @把每个参数区分对待)

4.5.2.案例实操

打印输入的所有参数

[hadoop@hadoop01 shell]$ vim parameter.sh 
#!/bin/bash
echo "$0   $1    $2  $3"
echo $#
echo $*
echo $@

"parameter.sh" 5L, 61C written                                                              
[hadoop@hadoop01 shell]$ chmod 777 parameter.sh   
[hadoop@hadoop01 shell]$ ./parameter.sh I LOVE YOU
./parameter.sh   I    LOVE  YOU
3
I LOVE YOU
I LOVE YOU

4.6. 特殊变量：$?

4.6.1. 基本语法

$?(功能描述：最后一次执行的命令的返回状态。如果这个变量的值为0，证明上一个命令的正确执行；如果这个变量的值为非0（具体是哪个数，由命令自己来决定），则证明上一个命令执行不正确了。)

4.6.2. 案例实操

判断helloworld.sh脚本是否正确执行

I LOVE YOU
[hadoop@hadoop01 shell]$ ./helloworld.sh 
helloworld  data
I LOVE YOU
[hadoop@hadoop01 shell]$ echo $?
0

判断 parameter.sh脚本是否正确执行

[hadoop@hadoop01 shell]$ ./parameter.sh I LOVE YOU
./parameter.sh   I    LOVE  YOU
3
I LOVE YOU
I LOVE YOU
[hadoop@hadoop01 shell]$ echo $?
0

5.运算符

5.1. 基本语法

(1)“ $（（运算式）） ” 或 “$ [运算式]”

(2)expr +,-,\ *,/,% 加，减，乘，除，取余

注意：expr运算符间要又空格

5.2. 案例实操

(1)计算3+2的值

[hadoop@hadoop01 shell]$ expr 2 + 3
5

(2)计算1-3的值

[hadoop@hadoop01 shell]$ expr 1 - 3
-2

(3)计算（2+3）*4的值

expr一步完成计算

[hadoop@hadoop01 shell]$ expr `expr 2 + 3` \* 4  
20

采用$[运算式]方式

[hadoop@hadoop01 shell]$ echo S=$[(3+2) * 4]        
S=20
[hadoop@hadoop01 shell]$ S=$[(3+2) * 4]     
[hadoop@hadoop01 shell]$ echo $S       
20

6. 条件判断

6.1.基本语法

[confition] ( 注意condition前后要有空格 )

注意：条件非空即为true，[atguigu] 返回true，[]返回false。

6.2. 常用判断条件

(1)两个整数之间比较

= 字符串比较

-lt 小于（less than）

-le 小于等于（less equal）

-eq 等于（equal）

-gt 大于（greater than）

-ge 大于等于（greater equal）

-ne 不等于（Not equal）

(2)按照文件权限进行判断

-r 有读的权限（read）

-w有写的权限（write）

-x有执行的权限（execute）

(3)按照文件类型进行判断

-f文件存在并且是一个常规的文件（file）

-e文件存在（existence）

-d文件存在并且是一个目录（directory）

6.3.案例实操

(1)23是否大于等于22

[hadoop@hadoop01 shell]$ [ 23 -ge 22 ]   
[hadoop@hadoop01 shell]$ echo $?
0
[hadoop@hadoop01 shell]$ [ 23 -ge 24 ]
[hadoop@hadoop01 shell]$ echo $?      
1

(2)helloworld.sh 是否具有写权限

[hadoop@hadoop01 shell]$ [ -w helloworld.sh ]
[hadoop@hadoop01 shell]$ echo $?             
0

(3)/home/hadoop/123.txt目录中的文件是否存在

[hadoop@hadoop01 shell]$ [ -e /home/hadoop/123.txt ]
[hadoop@hadoop01 shell]$ echo $?
1
[hadoop@hadoop01 shell]$ [ -d /home/hadoop/apps ]    
[hadoop@hadoop01 shell]$ echo $?
0

(4)多条件判断（&&表示前一条命令执行成功时，才执行后一条命令，||表示上一条命令执行失败后，才执行下一条命令）

[hadoop@hadoop01 shell]$ [ 2 -le 4 ] && echo ok || echo notOK
ok
[hadoop@hadoop01 shell]$ [ 2 -le 3 ] && [ 2 -ge 4 ] ||echo shit
shit

7.流程控制（重点）

7.1. if判断

7.1.1. 基本语法

if[ 条件判断式 ]；then

程序

或者

if[ 条件判断式 ]

then

程序

注意事项:

(1)[ 条件判断式 ]，中括号和条件判断式之间必须有空格。

(2)if后要有空格

7.1.2案例实操

输入一个数字，如果是1，则输出 wo shi shui ,如果是2，则输出 I LOVE YOU ,如果是其他，输出fuck。

[hadoop@hadoop01 shell]$ vim test02.sh       
#!/bin/bash
if [ $1 -eq "1" ]
then
        echo "wo shi shui"
elif [ $2 -eq "2" ]
then
        echo "I LOVE YOU"
fi
        echo "fuck"
fuck
[hadoop@hadoop01 shell]$ ./test02.sh 1 2
wo shi shui
fuck
[hadoop@hadoop01 shell]$ ./test02.sh 2 2
I LOVE YOU
fuck

7.2. case语句

7.2.1. 基本语法

case$变量名 in

”值1“）

如果变量的值等于值1，则执行程序1

；；

”值2“)

如果变量的值等于值2，则执行程序2

；；

…省略其他分支…

*）

如果变量的值都不是以上的值，则执行此程序。

；；

esac

注意事项

1）case行尾必须为单词”in“，每一个模式匹配必须以右括号”）“结束。

2）双分号”；；“表示命令序列结束，相当于java中的break。

3）最后的”*）“表示默认模式，相当于java中的default。

7.2.2.案例实操

输入一个数字，如果是1，则输出hello，如果是2，则输出hi，如果是其他，输出fuck。

[hadoop@hadoop01 shell]$ vim test03.sh       
#!/bin/bash
case $1 in
"1")
        echo "hello"
        ;;
"2")
        echo "hi"
        ;;
* )
        echo "fuck"
        ;;
esac

"test03.sh" [New] 12L, 92C written                                                          
[hadoop@hadoop01 shell]$ chmod 777 test03.sh 
[hadoop@hadoop01 shell]$ ./test03.sh 2         
hi
[hadoop@hadoop01 shell]$ ./test03.sh 1
hello
[hadoop@hadoop01 shell]$ ./test03.sh 3
fuck

7.3. for循环

7.3.1. 基础语法1

for（（初始值；循环控制体哦阿健；变量变化））

程序

done

7.3.2.案例实操

从1加到100

[hadoop@hadoop01 shell]$ vim test04.sh 
#!/bin/bash
y=0
for((i = 1; i <= 100; i ++))
do
        y=$[ $y + $i ]
done
echo $y

"test04.sh" 7L, 78C written                                       [hadoop@hadoop01 shell]$ chmod 777 test04.sh                     
[hadoop@hadoop01 shell]$ ./test04.sh   
5050

7.3.3. 基本语法2

for 变量 in值1 值2 值3 ……

程序

done

7.3.4. 案例实操

打印所有的输入参数

[hadoop@hadoop01 shell]$ touch test05.sh
[hadoop@hadoop01 shell]$ vim test05.sh  
#!/bin/bash
for i in $*
do
echo $i
done
"test05.sh" 5L, 41C written                                       
[hadoop@hadoop01 shell]$ chmod 777 test05.sh   
[hadoop@hadoop01 shell]$ ./test05.sh 
[hadoop@hadoop01 shell]$ ./test05.sh 1 2 3 4 5 6 7
1
2
3
4
5
6
7

7.4. while循环

7.4.1.基本语法

while[ 条件判断式 ]

程序

done

7.4.2. 案例实操

从1 加到100

[hadoop@hadoop01 shell]$ touch test06.sh
[hadoop@hadoop01 shell]$ vim test06.sh
#!/bin/bash
sum=0
i=1
while [ $i -le 100 ]
do
        sum=$[$sum + $i]
        i=$[$i + 1]
done
        echo $sum
                               
"test06.sh" 9L, 94C written                                       [hadoop@hadoop01 shell]$ chmod 777 test06.sh
[hadoop@hadoop01 shell]$ ./test06.sh  
5050

8. read读取控制台输入

8.1. 基本语法

read（选项）（参数）

选项：

-p：指定读取值时的提示符；

-t：指定读取值时等待的时间（秒）；

参数：

变量：指定读取值得变量名。

8.2. 案例实操

提示7秒内，读取控制台输入的名称

[hadoop@hadoop01 shell]$ touch read.sh
[hadoop@hadoop01 shell]$ vim read.sh 
#!/bin/bash
read -t 10 -p "请在10秒内输入你的用户名" USERNAME
echo $USERNAME

"read.sh" 3L, 88C written
[hadoop@hadoop01 shell]$ chmod 777 read.sh         
[hadoop@hadoop01 shell]$ ./read.sh                 
请在10秒内输入你的用户名xiaoming
xiaoming

9.函数

9.1. 系统函数

9.1.1.basename基本语法

basename [string/parhname] [suffix] (功能描述：basename命令会删掉所有的前缀包括最后一个（‘/’)字符，然后将字符串显示出来。）

选项：

suffix为后缀，如果suffix被指定了，basenaem会将pathname或者string中的suffix去掉。

9.1.2. 案例实操

截取该/home/hadoop/data/shell/banzhang.txt路径的文件名称。

[hadoop@hadoop01 shell]$ basename /home/hadoop/data/shell/banzhang.txt 
banzhang.txt
[hadoop@hadoop01 shell]$ basename /home/hadoop/data/shell/banzhang.txt .txt
banzhang

9.1.3. dirname基本语法

dirname文件绝对路径（功能描述：从给定的包含绝对路径的文件名中去除文件名（非目录部分），然后返回剩下的路径（目录的部分））

9.1.4.案例实操

获取banzhang.txt文件的路径。

[hadoop@hadoop01 shell]$ dirname /home/hadoop/data/shell/banzhang.txt
/home/hadoop/data/shell

9.2. 自定义函数

9.2.1. 基本语法

[ function ] funname[（）]

{

Action;

[ return int;]

}

funname

9.2.2. 经验技巧

（1）必须在调用函数地方之前，先声明函数，shell脚本是逐行运行。不会像其它语言一样先编译。

（2）函数返回值，只能通过$?系统变量获得，可以显示加：return返回，如果不加，将以最后一条命令运行结果，作为返回值。return后跟数值n（0-255）.

9.2.3. 案例实操

计算两个输入参数的和。

[hadoop@hadoop01 ~]$ touch fun.sh
[hadoop@hadoop01 ~]$ vim fun.sh
#!/bin/bash
function sum()
{
        s=0
        s=$[ $1 + $2 ]
        echo "$s"
}

read -p "请出入第一个数字:" n1;
read -p "请输入第二个数字:" n2;
sum $n1 $n2;

"fun.sh" 11L, 157C written                                       
[hadoop@hadoop01 ~]$ chmod 777 fun.sh 
[hadoop@hadoop01 ~]$ ./fun.sh 
请出入第一个数字:2
请输入第二个数字:7
9

10.shell工具（重点）

10.1. cut

cut的工作就是”剪“，具体的说就是在文件中负责剪切数据用的。cut命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。

10.1.1. 基本用法

cut [ 选项参数] filename

说明：默认分隔符是制表符

10.1.2. 选项参数说明

选项参数	功能
-f	列号，提取第几列
-d	分隔符，按照指定分隔符分割列

10.1.3.案例实操

（1）数据准备

[hadoop@hadoop01 shell]$ touch test.txt
[hadoop@hadoop01 shell]$ vim test.txt 
zhang   san
cai     bi
li      si
wang    ma
lai     zou
le      el
la      la
me      me
mi      mi
shit    fuck

（2）切割test.txt第一列

[hadoop@hadoop01 shell]$ cut -d " " -f 1 test.txt    
zhang
cai
li
wang
lai
le
la
me
mi
shit

（3）切割text.txt第二列、三列

[hadoop@hadoop01 shell]$ cut -d " " -f 2,3 test.txt  
san
bi
si
ma
zou
el
la
me
mi
fuck

（4）在text.txt文件中切割出fuck。

[hadoop@hadoop01 shell]$ cut -d " " -f 2 test.txt |grep fuck
fuck
[hadoop@hadoop01 shell]$ cat test.txt |grep fuck
shit fuck
[hadoop@hadoop01 shell]$ cat test.txt |grep fuck | cut -d " " -f 2 
fuck

（5）选取系统PATH变量值，第2个”：“开始后的所有路径

[hadoop@hadoop01 shell]$ echo $PATH
/usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/hadoop/apps/jdk1.8.0_73/bin:/home/hadoop/apps/hadoop-2.7.7/bin:/home/hadoop/apps/hadoop-2.7.7/sbin:/home/hadoop/apps/hive/bin:/home/hadoop/apps/zookeeper/bin:/home/hadoop/apps/scala/bin:/home/hadoop/apps/python/bin:/home/hadoop/apps/spark/sbin:/home/hadoop/bin:/home/hadoop/apps/kafka/bin:/home/hadoop/apps/flume/bin:/home/hadoop/apps/hbase/bin:/home/hadoop/apps/flink/bin
[hadoop@hadoop01 shell]$ echo $PATH | cut -d ":" -f 3-
/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/hadoop/apps/jdk1.8.0_73/bin:/home/hadoop/apps/hadoop-2.7.7/bin:/home/hadoop/apps/hadoop-2.7.7/sbin:/home/hadoop/apps/hive/bin:/home/hadoop/apps/zookeeper/bin:/home/hadoop/apps/scala/bin:/home/hadoop/apps/python/bin:/home/hadoop/apps/spark/sbin:/home/hadoop/bin:/home/hadoop/apps/kafka/bin:/home/hadoop/apps/flume/bin:/home/hadoop/apps/hbase/bin:/home/hadoop/apps/flink/bin

（6）切割ifconfig后打印的IP地址。

[hadoop@hadoop01 shell]$ ifconfig
eth0      Link encap:Ethernet  HWaddr 00:0C:29:A7:9F:63  
          inet addr:192.168.111.101  Bcast:192.168.111.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fea7:9f63/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:12213 errors:0 dropped:0 overruns:0 frame:0
          TX packets:11361 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:1193718 (1.1 MiB)  TX bytes:1963702 (1.8 MiB)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)

[hadoop@hadoop01 shell]$ ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 00:0C:29:A7:9F:63  
          inet addr:192.168.111.101  Bcast:192.168.111.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fea7:9f63/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:12219 errors:0 dropped:0 overruns:0 frame:0
          TX packets:11365 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:1194348 (1.1 MiB)  TX bytes:1965230 (1.8 MiB)
[hadoop@hadoop01 shell]$ ifconfig eth0 | grep "inet addr"
          inet addr:192.168.111.101  Bcast:192.168.111.255  Mask:255.255.255.0
[hadoop@hadoop01 shell]$ ifconfig eth0 | grep "inet addr" | cut -d ":" -f 2
192.168.111.101  Bcast
[hadoop@hadoop01 shell]$ ifconfig eth0 | grep "inet addr" | cut -d ":" -f 2| cut -d " " -f 1
192.168.111.101

10.2. sed

sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为”模式空间“，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，知道文件末尾。文件内容并没有改变，除非你使用重定向存储输出。

10.2.1. 基本用法

sed [ 选项参数] ’command‘ filename

10.2.2. 选项参数说明

选项参数	功能
-e	直接在指令列模式上进行sed的动作编辑

10.2.3. 命令功能描述

命令	功能描述
a	新增，a的后面可以接字符串，在下一行出现
d	删除
s	查找并替换

10.2.4. 案例实操

（1）数据准备

[hadoop@hadoop01 shell]$ touch set.txt
[hadoop@hadoop01 shell]$ vim set.txt 
zhang san
cai bi
li si
wang ma
lai zou
le el
la la
me me
mi mi
shit fuck

（2）将”mei nv“这个单词插入到set.txt第二行下，打印

[hadoop@hadoop01 shell]$ sed "2a mei nv" set.txt
zhang san
cai bi
mei nv
li si
wang ma
lai zou
le el
la la
me me
mi mi
shit fuck

注意：原文件并未改变

（3）删除set.txt文件所有包含ma的行

[hadoop@hadoop01 shell]$ sed "/ma/d" set.txt   
zhang san
cai bi
li si
lai zou
le el
la la
me me
mi mi
shit fuck

（4）将set.txt文件中me替换为nai

[hadoop@hadoop01 shell]$ sed "s/me/nai/g" set.txt 
zhang san
cai bi
li si
wang ma
lai zou
le el
la la
nai nai
mi mi
shit fuck

注意：g表示global，全部替换

（5）将set.txt文件中的第二行删除并将me替换为nai

[hadoop@hadoop01 shell]$ sed -e "2d" -e "s/me/nai/g" set.txt 
zhang san
li si
wang ma
lai zou
le el
la la
nai nai
mi mi
shit fuck

10.3. awk

一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每个切片，切开的部分再进行分析处理

10.3.1. 基本用法

awk [选项参数] ’pattern1{action1} pattern1{action1} …’ filename

pattern：表示AWK在数据中查找的内容，就是匹配模式。

action：在找到匹配内容时所执行的一系列命令

10.3.2. 选项参数说明

选项参数	功能描述
-F	指定输入文件折分隔符
-v	赋值一个用户定义变量

10.3.3. 案例实操

（1）数据准备

[hadoop@hadoop01 shell]$ sudo cp /etc/passwd ./
[sudo] password for hadoop: 
[hadoop@hadoop01 shell]$ ls
logs  mock-data  passwd  set.txt  test.txt  zookeeper.out
[hadoop@hadoop01 shell]$ sudo chown hadoop:hadoop passwd
[hadoop@hadoop01 shell]$ cat passwd 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
gopher:x:13:30:gopher:/var/gopher:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
usbmuxd:x:113:113:usbmuxd user:/:/sbin/nologin
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
rpc:x:32:32:Rpcbind Daemon:/var/cache/rpcbind:/sbin/nologin
rtkit:x:499:497:RealtimeKit:/proc:/sbin/nologin
avahi-autoipd:x:170:170:Avahi IPv4LL Stack:/var/lib/avahi-autoipd:/sbin/nologin
abrt:x:173:173::/etc/abrt:/sbin/nologin
rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
haldaemon:x:68:68:HAL daemon:/:/sbin/nologin
gdm:x:42:42::/var/lib/gdm:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
apache:x:48:48:Apache:/var/www:/sbin/nologin
saslauth:x:498:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
pulse:x:497:496:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
hadoop:x:500:501:hadoop:/home/hadoop:/bin/bash

（2）搜索passwd文件以root关键字开头的所有行，并输出该行的第七列。

[hadoop@hadoop01 shell]$ awk -F : '/^root/{print $7}' passwd 
/bin/bash

（3）搜索passwd文件以root关键字开头的所有行，并输出该行的第1列和第7列，中间以”，“号分割。

[hadoop@hadoop01 shell]$ awk -F : '/^root/{print $1","$7}' passwd            
root,/bin/bash

（4）只显示/etc/passwd的第一列和第七列，以逗号分隔，且在所有行的钱买你添加列名user，shell在最后一行添加”lalala，/bin/haihaihai“。

[hadoop@hadoop01 shell]$ awk -F : 'BEGIN{print "user,shell"} {print $1","$7} END{print "lalala,/bin/haihaihai"}' passwd   
user,shell
root,/bin/bash
bin,/sbin/nologin
daemon,/sbin/nologin
adm,/sbin/nologin
lp,/sbin/nologin
sync,/bin/sync
shutdown,/sbin/shutdown
halt,/sbin/halt
mail,/sbin/nologin
uucp,/sbin/nologin
operator,/sbin/nologin
games,/sbin/nologin
gopher,/sbin/nologin
ftp,/sbin/nologin
nobody,/sbin/nologin
dbus,/sbin/nologin
usbmuxd,/sbin/nologin
vcsa,/sbin/nologin
rpc,/sbin/nologin
rtkit,/sbin/nologin
avahi-autoipd,/sbin/nologin
abrt,/sbin/nologin
rpcuser,/sbin/nologin
nfsnobody,/sbin/nologin
haldaemon,/sbin/nologin
gdm,/sbin/nologin
ntp,/sbin/nologin
apache,/sbin/nologin
saslauth,/sbin/nologin
postfix,/sbin/nologin
pulse,/sbin/nologin
sshd,/sbin/nologin
tcpdump,/sbin/nologin
hadoop,/bin/bash
lalala,/bin/haihaihai

注意：BEGIN在所有数据读取行之前执行；END在所有数据执行之后执行。

（5）将passwd文件中的用户id增加数值1并输出。

[hadoop@hadoop01 shell]$ awk -F : -v i=1 '{print $3+i}' passwd  
1
2
3
4
5
6
7
8
9
11
12
13
14
15
100
82
114
70
33
500
171
174
30
65535
69
43
39
49
499
90
498
75
73
501

10.3.4. awk的内置变量

变量	说明
FILENAME	文件名
NR	已读的记录数
NF	浏览记录的域的个数（切割后，列的个数）

10.3.5.案例实操

（1）统计passwd文件名，每行的行号，每行的列数

[hadoop@hadoop01 shell]$ awk -F : '{print "filename:" FILENAME ", linenumber:" NR ", columns:" NF}' passwd 
filename:passwd, linenumber:1, columns:7
filename:passwd, linenumber:2, columns:7
filename:passwd, linenumber:3, columns:7
filename:passwd, linenumber:4, columns:7
filename:passwd, linenumber:5, columns:7
filename:passwd, linenumber:6, columns:7
filename:passwd, linenumber:7, columns:7
filename:passwd, linenumber:8, columns:7
filename:passwd, linenumber:9, columns:7
filename:passwd, linenumber:10, columns:7
filename:passwd, linenumber:11, columns:7
filename:passwd, linenumber:12, columns:7
filename:passwd, linenumber:13, columns:7
filename:passwd, linenumber:14, columns:7
filename:passwd, linenumber:15, columns:7
filename:passwd, linenumber:16, columns:7
filename:passwd, linenumber:17, columns:7
filename:passwd, linenumber:18, columns:7
filename:passwd, linenumber:19, columns:7
filename:passwd, linenumber:20, columns:7
filename:passwd, linenumber:21, columns:7
filename:passwd, linenumber:22, columns:7
filename:passwd, linenumber:23, columns:7
filename:passwd, linenumber:24, columns:7
filename:passwd, linenumber:25, columns:7
filename:passwd, linenumber:26, columns:7
filename:passwd, linenumber:27, columns:7
filename:passwd, linenumber:28, columns:7
filename:passwd, linenumber:29, columns:7
filename:passwd, linenumber:30, columns:7
filename:passwd, linenumber:31, columns:7
filename:passwd, linenumber:32, columns:7
filename:passwd, linenumber:33, columns:7
filename:passwd, linenumber:34, columns:7

（2）切割IP

[hadoop@hadoop01 shell]$ ifconfig eth0 
eth0      Link encap:Ethernet  HWaddr 00:0C:29:A7:9F:63  
          inet addr:192.168.111.101  Bcast:192.168.111.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fea7:9f63/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:14464 errors:0 dropped:0 overruns:0 frame:0
          TX packets:12687 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:1440500 (1.3 MiB)  TX bytes:2174234 (2.0 MiB)

[hadoop@hadoop01 shell]$ ifconfig eth0 | grep "inet addr"
          inet addr:192.168.111.101  Bcast:192.168.111.255  Mask:255.255.255.0
[hadoop@hadoop01 shell]$ ifconfig eth0 | grep "inet addr"|awk -F : '{print $2}' 
192.168.111.101  Bcast
[hadoop@hadoop01 shell]$ ifconfig eth0 | grep "inet addr"|awk -F : '{print $2}'| awk -F " " '{print $1}'
192.168.111.101

（3）查询set.txt中空行所在的行号

[hadoop@hadoop01 shell]$ vim set.txt 
zhang san
cai bi

li si
wang ma
lai zou
le el
la la
me me
mi mi
shit fuck
                     
"set.txt" 11L, 74C written                                                                     
[hadoop@hadoop01 shell]$ awk '/^$/{print NR}' set.txt 
3

10.4. sort

sort命令是在Linux里面非常有用，它将文件进行排序，并将排序结果标准输出。

10.4.1. 基本语法

sort（选项）（参数）

选项	说明
-n	依照数值大小排序
-r	以相反的顺序来排序
-t	设置排序时所用的分隔字符
-k	指定需要排序的列

参数：指定待排序的文件列表

10.4.2. 案例实操

（1）数据准备

[hadoop@hadoop01 shell]$ touch sort.sh
[hadoop@hadoop01 shell]$ vim sort.sh 
bb:40:5.4
bd:20:4.2
zx:50:2.3
cds:10:2.6
ss:30:7.4

（2）按照“：”分割后的第三列倒序排序

[hadoop@hadoop01 shell]$ sort -t ":" -nrk 2 sort.sh 
zx:50:2.3
bb:40:5.4
ss:30:7.4
bd:20:4.2
cds:10:2.6

11.企业真实面试题

11.1. 京东

问题一：使用Linux命令查询file1中空行所在的行号

答案：awk ‘/^$/{print NR}’ file1

问题二：有文件chengji.txt内容如下：

张三 40

李四 50

王五 60

使用Linux命令计算第二列的和并输出

答案： cat chengji.txt |awk -F " " ‘{sum+=$2} END{print sum}’

11.2. 搜狐&和讯网

问题1：Shell脚本里如何检查一个文件是否存在？如果不存在该如何处理？

#！/bin/bash
if [ -f file.txt ]
then
	echo "文件存在！"
else
	echo "文件不存在！"
fi

11.3. 新浪

问题一：用shell写一个脚本，对文本中无需的一列数字排序并且累加求和。

sort -n feil.txt | awk '{a+=$0;print $0} END {print "sum="$a}'

11.4. 金和网络

问题1：请用shell脚本写出查找当前文件夹（/home）下所有文本内容中包含有字符“shen”的文件名称

grep -r "shen" /home |cut -d ":" -f 1

me
mi mi
shit fuck

“set.txt” 11L, 74C written
[hadoop@hadoop01 shell]$ awk ‘/^$/{print NR}’ set.txt
3


## 10.4. sort

	sort命令是在Linux里面非常有用，它将文件进行排序，并将排序结果标准输出。

### 10.4.1. 基本语法

sort（选项）（参数）

| 选项 | 说明                     |
| ---- | ------------------------ |
| -n   | 依照数值大小排序         |
| -r   | 以相反的顺序来排序       |
| -t   | 设置排序时所用的分隔字符 |
| -k   | 指定需要排序的列         |

参数：指定待排序的文件列表

### 10.4.2. 案例实操

（1）数据准备

```sh
[hadoop@hadoop01 shell]$ touch sort.sh
[hadoop@hadoop01 shell]$ vim sort.sh 
bb:40:5.4
bd:20:4.2
zx:50:2.3
cds:10:2.6
ss:30:7.4

（2）按照“：”分割后的第三列倒序排序

[hadoop@hadoop01 shell]$ sort -t ":" -nrk 2 sort.sh 
zx:50:2.3
bb:40:5.4
ss:30:7.4
bd:20:4.2
cds:10:2.6

11.企业真实面试题

11.1. 京东

问题一：使用Linux命令查询file1中空行所在的行号

答案：awk ‘/^$/{print NR}’ file1

问题二：有文件chengji.txt内容如下：

张三 40

李四 50

王五 60

使用Linux命令计算第二列的和并输出

答案： cat chengji.txt |awk -F " " ‘{sum+=$2} END{print sum}’

11.2. 搜狐&和讯网

问题1：Shell脚本里如何检查一个文件是否存在？如果不存在该如何处理？

#！/bin/bash
if [ -f file.txt ]
then
	echo "文件存在！"
else
	echo "文件不存在！"
fi

11.3. 新浪

问题一：用shell写一个脚本，对文本中无需的一列数字排序并且累加求和。

sort -n feil.txt | awk '{a+=$0;print $0} END {print "sum="$a}'

11.4. 金和网络

问题1：请用shell脚本写出查找当前文件夹（/home）下所有文本内容中包含有字符“shen”的文件名称

grep -r "shen" /home |cut -d ":" -f 1

SHFQLL

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

shell入门

1.shell概述

1.1大数据程序员为什么要学习shell呢?

1.2shell概述

2.shell解析器

2.1.Linux提供的Shell解析器有

2.2.bash和sh的关系

2.2.bash和sh的关系

2.3.Centos默认的解析器是bash

3.shell脚本入门

3.1. 脚本格式

3.2. 第一个Shell脚本：helloworld

3.2.1. 需求

3.2.2. 案例实操

3.2.3. 脚本的常用执行方式

3.3. 第二个shell脚本，多命令处理

3.3.1. 需求

3.3.2. 案例实操

4. shell中的变量

4.1. 系统变量

4.1.1. 常用系统变量

4.1.2. 案例实操

4.2. 自定义变量

4.2.1. 基本语法

4.2.2. 变量定义规则

4.2.3.案例实操

4.3. 特殊变量：$n

4.3.1. 基本语法

4.3.2. 案例实操

4.4. 特殊变量：$#

4.4.1. 基本语法

4.4.2. 案例实操

4.5. 特殊变量： ∗ 、 *、 ∗、@

4.5.1.基本语法

4.5.2.案例实操

4.6. 特殊变量：$?

4.6.1. 基本语法

4.6.2. 案例实操

5.运算符

5.1. 基本语法

5.2. 案例实操

6. 条件判断

6.1.基本语法

6.2. 常用判断条件

6.3.案例实操

7.流程控制（重点）

7.1. if判断

7.1.1. 基本语法

7.1.2案例实操

7.2. case语句

7.2.1. 基本语法

7.2.2.案例实操

7.3. for循环

7.3.1. 基础语法1

7.3.2.案例实操

7.3.3. 基本语法2

7.3.4. 案例实操

7.4. while循环

7.4.1.基本语法

7.4.2. 案例实操

8. read读取控制台输入

8.1. 基本语法

8.2. 案例实操

9.函数

9.1. 系统函数

9.1.1.basename基本语法

9.1.2. 案例实操

9.1.3. dirname基本语法

9.1.4.案例实操

9.2. 自定义函数

9.2.1. 基本语法

9.2.2. 经验技巧

9.2.3. 案例实操

10.shell工具（重点）

10.1. cut

10.1.1. 基本用法

10.1.2. 选项参数说明

10.1.3.案例实操

10.2. sed

10.2.1. 基本用法

4.5. 特殊变量： $* 、$ @