shell入门

脚本 专栏收录该内容
1 篇文章 0 订阅

1.shell概述

1.1大数据程序员为什么要学习shell呢?

1.需要看懂运维人员编写的shell程序。

2.偶尔会编写一些简单shell程序管理集群、提高开发技术。

1.2shell概述

shell是一个命令行解释器,它接收应用程序用户命令,然后调用操作系统内核。

[外链图片转存失败(img-pddrfzMb-1564665482446)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1564622974801.png)]

shell还是一个功能相当强大的编程语言,易编写、易调试、灵活性强。

出现了竞争对手python,结合shell的优点,避开了shell的缺点。

2.shell解析器

2.1.Linux提供的Shell解析器有

[hadoop@hadoop01 ~]$ cat /etc/shells 
/bin/sh
/bin/bash
/sbin/nologin
/bin/dash
/bin/tcsh
/bin/csh

2.2.bash和sh的关系

[hadoop@hadoop01 bin]$ ll |grep bash
-rwxr-xr-x. 1 root root 941720 Jul 24  2015 bash
lrwxrwxrwx. 1 root root      4 Apr 28 03:48 sh -> bash

2.2.bash和sh的关系

2.3.Centos默认的解析器是bash

[hadoop@hadoop01 bin]$ echo $SHELL
/bin/bash

3.shell脚本入门

3.1. 脚本格式

脚本以#!/bin/bash 开头,指定解析器。

3.2. 第一个Shell脚本:helloworld

3.2.1. 需求

创建一个Shell脚本,输出helloword。

3.2.2. 案例实操

[hadoop@hadoop01 shell]$ vim helloworld.sh
#!/bin/bash
echo "helloworld  data"

3.2.3. 脚本的常用执行方式

第一种:采用bash或sh+脚本的相对路径或绝对路径(不用赋予权限)

​ sh+脚本的相对路径

[hadoop@hadoop01 shell]$ sh helloworld.sh 
helloworld  data

​ sh+脚本的绝对路径

[hadoop@hadoop01 shell]$ sh /home/hadoop/data/shell/helloworld.sh 
helloworld  data

​ bash+脚本的相对路径

[hadoop@hadoop01 shell]$ bash helloworld.sh 
helloworld  data

​ bash+脚本的绝对路径

[hadoop@hadoop01 shell]$bash/home/hadoop/data/shell/helloworld.sh 
helloworld  data

第二种:采用输入脚本的绝对路径或相对路径执行脚本(必须具有可执行权限+x

​ 首先要赋予helloworld.sh脚本的+x权限

[hadoop@hadoop01 shell]$ ll |grep helloworld.sh 
-rw-rw-r-- 1 hadoop hadoop    38 Aug  1 09:53 helloworld.sh
[hadoop@hadoop01 shell]$ chmod 777 helloworld.sh //赋予权限
[hadoop@hadoop01 shell]$ ll |grep helloworld.sh  
-rwxrwxrwx 1 hadoop hadoop    38 Aug  1 09:53 helloworld.sh

​ 执行脚本:

​ 相对路径

[hadoop@hadoop01 shell]$ ./helloworld.sh   
helloworld  data

​ 绝对路径

[hadoop@hadoop01 shell]$ ./home/hadoop/data/shell/helloworld.sh
helloworld  data

注意:第一种执行方法,本质是bash解析器帮你执行脚本,所以脚本本身不需要执行权限。第二种执行方法,本质是脚本需要自己执行,所以需要执行权限

3.3. 第二个shell脚本,多命令处理

3.3.1. 需求

在/home/hadoop/data/shell/目录下创建一个banzhang.txt,在banzhang.txt文件中增加“I LOVE CLASS”.

3.3.2. 案例实操

[hadoop@hadoop01 shell]$ vim test01.sh
#!/bin/bash

cd /home/hadoop/data/shell/
touch banzhang.txt
echo "I LOVE CLASS" >> banzhang.txt                                                                                                         
"test01.sh" [New] 5L, 96C written                                                           
[hadoop@hadoop01 shell]$ chome 777 test01.sh 
-bash: chome: command not found
[hadoop@hadoop01 shell]$ chmod 777 test01.sh    
[hadoop@hadoop01 shell]$ ./test01.sh 
[hadoop@hadoop01 shell]$ ls
banzhang.txt  helloworld.sh  logs  mock-data  mockLogData.sh  test01.sh  zookeeper.out
[hadoop@hadoop01 shell]$ cat banzhang.txt 
I LOVE CLASS

4. shell中的变量

4.1. 系统变量

4.1.1. 常用系统变量

H O M E 、 HOME、 HOMEPWD、 S H E L L 、 SHELL、 SHELLUSER等。

4.1.2. 案例实操

​ (1)查看系统变量的值

[hadoop@hadoop01 shell]$ echo $HOME
/home/hadoop
[hadoop@hadoop01 shell]$ echo $USER
hadoop
[hadoop@hadoop01 shell]$ echo $SHELL
/bin/bash
[hadoop@hadoop01 shell]$ echo $PWD
/home/hadoop/data/shell

​ (2)显示当前shell中的所有变量:set

/home/hadoop/data/shell
[hadoop@hadoop01 shell]$ set
BASH=/bin/bash
BASHOPTS=checkwinsize:cmdhist:expand_aliases:extquote:force_fignore:hostcomplete:interactive_comments:login_shell:progcomp:promptvars:sourcepath
BASH_ALIASES=()
BASH_ARGC=()
BASH_ARGV=()
BASH_CMDS=()
BASH_LINENO=()
BASH_SOURCE=()
BASH_VERSINFO=([0]="4" [1]="1" [2]="2" [3]="1" [4]="release" [5]="x86_64-redhat-linux-gnu")
BASH_VERSION='4.1.2(1)-release'
COLORS=/etc/DIR_COLORS
COLUMNS=110
CVS_RSH=ssh
DIRSTACK=()
EUID=500
FLINK_HOME=/home/hadoop/apps/flink
FLUME_HOME=/home/hadoop/apps/flume
GROUPS=()
G_BROKEN_FILENAMES=1
HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.7
HBASE_HOME=/home/hadoop/apps/hbase
HISTCONTROL=ignoredups
HISTFILE=/home/hadoop/.bash_history
HISTFILESIZE=1000
HISTSIZE=1000
HIVE_HOME=/home/hadoop/apps/hive
HOME=/home/hadoop
HOSTNAME=hadoop01
HOSTTYPE=x86_64
ID=500
IFS=$' \t\n'
JAVA_HOME=/home/hadoop/apps/jdk1.8.0_73
KAFKA_HOME=/home/hadoop/apps/kafka
LANG=en_US.UTF-8
LESSOPEN='||/usr/bin/lesspipe.sh %s'
LINES=22
LOGNAME=hadoop

4.2. 自定义变量

4.2.1. 基本语法

​ (1)定义变量:变量=值(中间不能有空格

​ (2)撤销变量:unset 变量

​ (3)声明静态变量:readonly变量,注意:不能unset

4.2.2. 变量定义规则

​ (1)变量名称可以由字母、数字和下划线组成,但是不能以数字开头,环境变量名建议大写。

​ (2)等号两侧不能由空格。

​ (3)在bash中,变量默认类型都是字符串类型,无法直接进行数值计算。

​ (4)变量的值如果有空格,需要使用双引号或单引号括起来。

4.2.3.案例实操

​ (1)定义变量C

[hadoop@hadoop01 ~]$ C=kk
[hadoop@hadoop01 ~]$ echo $C
kk

​ (2)给变量C重新赋值

[hadoop@hadoop01 ~]$ C=44
[hadoop@hadoop01 ~]$ echo $C
44

​ (3)撤销变量C

[hadoop@hadoop01 ~]$ unset C
[hadoop@hadoop01 ~]$ echo $C

​ (4)声明静态变量c=2,不能unset。

[hadoop@hadoop01 ~]$ readonly c=2
[hadoop@hadoop01 ~]$ echo $c
2
[hadoop@hadoop01 ~]$ unset c
-bash: unset: c: cannot unset: readonly variable

​ (5)在bash中,变量的默认类型都是字符串类型,无法直接进行数值运算。

[hadoop@hadoop01 ~]$ C=1+2
[hadoop@hadoop01 ~]$ echo $C
1+2

​ (6)变量的值如果有空格,需要使用双引号或单引号括起来。

[hadoop@hadoop01 ~]$ D=I LOVE YOU
-bash: LOVE: command not found
[hadoop@hadoop01 ~]$ D="I LOVE YOU"
[hadoop@hadoop01 ~]$ echo $D
I LOVE YOU
[hadoop@hadoop01 ~]$ D='I LOVE YOU'
[hadoop@hadoop01 ~]$ echo $D       
I LOVE YOU

​ (7)可把变量提升为全局环境变量,可供其他Shell程序使用。

​ export 变量名

[hadoop@hadoop01 shell]$ vim helloworld.sh 
#!/bin/bash

在文件中增加echo $D
echo "helloworld  data"
echo $D

"helloworld.sh" 5L, 46C written                                  
[hadoop@hadoop01 shell]$ echo $D
I LOVE YOU
[hadoop@hadoop01 shell]$ ./helloworld.sh 
helloworld  data

​ 发现并没有打印输出变量D的值

//提升为全局变量
[hadoop@hadoop01 shell]$ export D
[hadoop@hadoop01 shell]$ ./helloworld.sh 
helloworld  data
I LOVE YOU

4.3. 特殊变量:$n

4.3.1. 基本语法

$n(功能描述:n为数字,$0代表该脚本名称,$1- 9 代 表 第 一 到 第 九 个 参 数 , 十 以 上 的 参 数 需 要 使 用 大 括 号 包 含 , 如 9代表第一到第九个参数,十以上的参数需要使用大括号包含,如 9使{10})

4.3.2. 案例实操

输出该脚本文件名称、输入参数1、参数2和输出参数3的值。

[hadoop@hadoop01 shell]$ touch parameter.sh
[hadoop@hadoop01 shell]$ vim parameter.sh 
#!/bin/bash
echo "$0   $1    $2  $3"

[hadoop@hadoop01 shell]$ ./parameter.sh I LOVE YOU
./parameter.sh   I    LOVE  YOU

4.4. 特殊变量:$#

4.4.1. 基本语法

$#(功能描述:获取所有输入参数的个数,常用于循环)

4.4.2. 案例实操

获取输入参数的个数

[hadoop@hadoop01 shell]$ vim parameter.sh 
#!/bin/bash
echo "$0   $1    $2  $3"
echo $#

~                                                                                                             
"parameter.sh" 3L, 45C written                                                              
[hadoop@hadoop01 shell]$ chmod 777 parameter.sh         
[hadoop@hadoop01 shell]$ ./parameter.sh I LOVE YOU
./parameter.sh   I    LOVE  YOU
3

4.5. 特殊变量: ∗ 、 *、 @

4.5.1.基本语法

∗ ( 功 能 简 介 : 这 个 变 量 代 表 命 令 行 中 所 有 的 参 数 , * (功能简介:这个变量代表命令行中所有的参数, (* 把所有的参数堪称一个整体)

@ ( 功 能 简 介 : 这 个 变 量 也 代 表 命 令 行 中 所 有 的 参 数 , 不 过 @(功能简介:这个变量也代表命令行中所有的参数,不过 @(@把每个参数区分对待)

4.5.2.案例实操

​ 打印输入的所有参数

[hadoop@hadoop01 shell]$ vim parameter.sh 
#!/bin/bash
echo "$0   $1    $2  $3"
echo $#
echo $*
echo $@

"parameter.sh" 5L, 61C written                                                              
[hadoop@hadoop01 shell]$ chmod 777 parameter.sh   
[hadoop@hadoop01 shell]$ ./parameter.sh I LOVE YOU
./parameter.sh   I    LOVE  YOU
3
I LOVE YOU
I LOVE YOU

4.6. 特殊变量:$?

4.6.1. 基本语法

​ $?(功能描述:最后一次执行的命令的返回状态。如果这个变量的值为0,证明上一个命令的正确执行;如果这个变量的值为非0(具体是哪个数,由命令自己来决定),则证明上一个命令执行不正确了。)

4.6.2. 案例实操

​ 判断helloworld.sh脚本是否正确执行

I LOVE YOU
[hadoop@hadoop01 shell]$ ./helloworld.sh 
helloworld  data
I LOVE YOU
[hadoop@hadoop01 shell]$ echo $?
0

​ 判断 parameter.sh脚本是否正确执行

[hadoop@hadoop01 shell]$ ./parameter.sh I LOVE YOU
./parameter.sh   I    LOVE  YOU
3
I LOVE YOU
I LOVE YOU
[hadoop@hadoop01 shell]$ echo $?
0

5.运算符

5.1. 基本语法

​ (1)“ ( ( 运 算 式 ) ) ” 或 “ ((运算式))”或“ [运算式]”

​ (2)expr +,-,\ *,/,% 加,减,乘,除,取余

注意:expr运算符间要又空格

5.2. 案例实操

(1)计算3+2的值

[hadoop@hadoop01 shell]$ expr 2 + 3
5

(2)计算1-3的值

[hadoop@hadoop01 shell]$ expr 1 - 3
-2

(3)计算(2+3)*4的值

​ expr一步完成计算

[hadoop@hadoop01 shell]$ expr `expr 2 + 3` \* 4  
20

​ 采用$[运算式]方式

[hadoop@hadoop01 shell]$ echo S=$[(3+2) * 4]        
S=20
[hadoop@hadoop01 shell]$ S=$[(3+2) * 4]     
[hadoop@hadoop01 shell]$ echo $S       
20

6. 条件判断

6.1.基本语法

[confition] ( 注意condition前后要有空格 )

注意:条件非空即为true,[atguigu] 返回true,[]返回false。

6.2. 常用判断条件

​ (1)两个整数之间比较

​ = 字符串比较

​ -lt 小于(less than)

​ -le 小于等于(less equal)

​ -eq 等于(equal)

​ -gt 大于(greater than)

​ -ge 大于等于(greater equal)

​ -ne 不等于(Not equal)

​ (2)按照文件权限进行判断

​ -r 有读的权限(read)

​ -w有写的权限(write)

​ -x有执行的权限(execute)

​ (3)按照文件类型进行判断

​ -f文件存在并且是一个常规的文件(file)

​ -e文件存在(existence)

​ -d文件存在并且是一个目录(directory)

6.3.案例实操

(1)23是否大于等于22

[hadoop@hadoop01 shell]$ [ 23 -ge 22 ]   
[hadoop@hadoop01 shell]$ echo $?
0
[hadoop@hadoop01 shell]$ [ 23 -ge 24 ]
[hadoop@hadoop01 shell]$ echo $?      
1

(2)helloworld.sh 是否具有写权限

[hadoop@hadoop01 shell]$ [ -w helloworld.sh ]
[hadoop@hadoop01 shell]$ echo $?             
0

(3)/home/hadoop/123.txt目录中的文件是否存在

[hadoop@hadoop01 shell]$ [ -e /home/hadoop/123.txt ]
[hadoop@hadoop01 shell]$ echo $?
1
[hadoop@hadoop01 shell]$ [ -d /home/hadoop/apps ]    
[hadoop@hadoop01 shell]$ echo $?
0

(4)多条件判断(&&表示前一条命令执行成功时,才执行后一条命令,||表示上一条命令执行失败后,才执行下一条命令)

[hadoop@hadoop01 shell]$ [ 2 -le 4 ] && echo ok || echo notOK
ok
[hadoop@hadoop01 shell]$ [ 2 -le 3 ] && [ 2 -ge 4 ] ||echo shit
shit

7.流程控制(重点)

7.1. if判断

7.1.1. 基本语法

​ if[ 条件判断式 ];then

​ 程序

​ fi

​ 或者

​ if[ 条件判断式 ]

​ then

​ 程序

​ fi

​ 注意事项:

​ (1)[ 条件判断式 ],中括号和条件判断式之间必须有空格。

​ (2)if后要有空格

7.1.2案例实操

​ 输入一个数字,如果是1,则输出 wo shi shui ,如果是2,则输出 I LOVE YOU ,如果是其他,输出fuck。

[hadoop@hadoop01 shell]$ vim test02.sh       
#!/bin/bash
if [ $1 -eq "1" ]
then
        echo "wo shi shui"
elif [ $2 -eq "2" ]
then
        echo "I LOVE YOU"
fi
        echo "fuck"
fuck
[hadoop@hadoop01 shell]$ ./test02.sh 1 2
wo shi shui
fuck
[hadoop@hadoop01 shell]$ ./test02.sh 2 2
I LOVE YOU
fuck

7.2. case语句

7.2.1. 基本语法

case$变量名 in

​ ”值1“)

​ 如果变量的值等于值1,则执行程序1

​ ;;

​ ”值2“)

​ 如果变量的值等于值2,则执行程序2

​ ;;

​ …省略其他分支…

​ *)

​ 如果变量的值都不是以上的值,则执行此程序。

​ ;;

​ esac

注意事项

​ 1)case行尾必须为单词”in“,每一个模式匹配必须以右括号”)“结束。

​ 2)双分号”;;“表示命令序列结束,相当于java中的break。

​ 3)最后的”*)“表示默认模式,相当于java中的default。

7.2.2.案例实操

​ 输入一个数字,如果是1,则输出hello,如果是2,则输出hi,如果是其他,输出fuck。

[hadoop@hadoop01 shell]$ vim test03.sh       
#!/bin/bash
case $1 in
"1")
        echo "hello"
        ;;
"2")
        echo "hi"
        ;;
* )
        echo "fuck"
        ;;
esac

"test03.sh" [New] 12L, 92C written                                                          
[hadoop@hadoop01 shell]$ chmod 777 test03.sh 
[hadoop@hadoop01 shell]$ ./test03.sh 2         
hi
[hadoop@hadoop01 shell]$ ./test03.sh 1
hello
[hadoop@hadoop01 shell]$ ./test03.sh 3
fuck

7.3. for循环

7.3.1. 基础语法1

for((初始值;循环控制体哦阿健;变量变化))

​ do

​ 程序

​ done

7.3.2.案例实操

从1加到100

[hadoop@hadoop01 shell]$ vim test04.sh 
#!/bin/bash
y=0
for((i = 1; i <= 100; i ++))
do
        y=$[ $y + $i ]
done
echo $y

"test04.sh" 7L, 78C written                                       [hadoop@hadoop01 shell]$ chmod 777 test04.sh                     
[hadoop@hadoop01 shell]$ ./test04.sh   
5050

7.3.3. 基本语法2

for 变量 in值1 值2 值3 ……

do

​ 程序

done

7.3.4. 案例实操

打印所有的输入参数

[hadoop@hadoop01 shell]$ touch test05.sh
[hadoop@hadoop01 shell]$ vim test05.sh  
#!/bin/bash
for i in $*
do
echo $i
done
"test05.sh" 5L, 41C written                                       
[hadoop@hadoop01 shell]$ chmod 777 test05.sh   
[hadoop@hadoop01 shell]$ ./test05.sh 
[hadoop@hadoop01 shell]$ ./test05.sh 1 2 3 4 5 6 7
1
2
3
4
5
6
7

7.4. while循环

7.4.1.基本语法

while[ 条件判断式 ]

do

​ 程序

done

7.4.2. 案例实操

从1 加到100

[hadoop@hadoop01 shell]$ touch test06.sh
[hadoop@hadoop01 shell]$ vim test06.sh
#!/bin/bash
sum=0
i=1
while [ $i -le 100 ]
do
        sum=$[$sum + $i]
        i=$[$i + 1]
done
        echo $sum
                               
"test06.sh" 9L, 94C written                                       [hadoop@hadoop01 shell]$ chmod 777 test06.sh
[hadoop@hadoop01 shell]$ ./test06.sh  
5050

8. read读取控制台输入

8.1. 基本语法

read(选项)(参数)

选项:

​ -p:指定读取值时的提示符;

​ -t:指定读取值时等待的时间(秒);

参数:

​ 变量:指定读取值得变量名。

8.2. 案例实操

​ 提示7秒内,读取控制台输入的名称

[hadoop@hadoop01 shell]$ touch read.sh
[hadoop@hadoop01 shell]$ vim read.sh 
#!/bin/bash
read -t 10 -p "请在10秒内输入你的用户名" USERNAME
echo $USERNAME

"read.sh" 3L, 88C written
[hadoop@hadoop01 shell]$ chmod 777 read.sh         
[hadoop@hadoop01 shell]$ ./read.sh                 
请在10秒内输入你的用户名xiaoming
xiaoming

9.函数

9.1. 系统函数

9.1.1.basename基本语法

​ basename [string/parhname] [suffix] (功能描述:basename命令会删掉所有的前缀包括最后一个(‘/’)字符,然后将字符串显示出来。)

​ 选项:

​ suffix为后缀,如果suffix被指定了,basenaem会将pathname或者string中的suffix去掉。

9.1.2. 案例实操

​ 截取该/home/hadoop/data/shell/banzhang.txt路径的文件名称。

[hadoop@hadoop01 shell]$ basename /home/hadoop/data/shell/banzhang.txt 
banzhang.txt
[hadoop@hadoop01 shell]$ basename /home/hadoop/data/shell/banzhang.txt .txt
banzhang

9.1.3. dirname基本语法

​ dirname文件绝对路径 (功能描述:从给定的包含绝对路径的文件名中去除文件名(非目录部分),然后返回剩下的路径(目录的部分))

9.1.4.案例实操

​ 获取banzhang.txt文件的路径。

[hadoop@hadoop01 shell]$ dirname /home/hadoop/data/shell/banzhang.txt
/home/hadoop/data/shell

9.2. 自定义函数

9.2.1. 基本语法

[ function ] funname[()]

{

​ Action;

​ [ return int;]

}

funname

9.2.2. 经验技巧

(1)必须在调用函数地方之前,先声明函数,shell脚本是逐行运行。不会像其它语言一样先编译。

(2)函数返回值,只能通过$?系统变量获得,可以显示加:return返回,如果不加,将以最后一条命令运行结果,作为返回值。return后跟数值n(0-255).

9.2.3. 案例实操

计算两个输入参数的和。

[hadoop@hadoop01 ~]$ touch fun.sh
[hadoop@hadoop01 ~]$ vim fun.sh
#!/bin/bash
function sum()
{
        s=0
        s=$[ $1 + $2 ]
        echo "$s"
}

read -p "请出入第一个数字:" n1;
read -p "请输入第二个数字:" n2;
sum $n1 $n2;

"fun.sh" 11L, 157C written                                       
[hadoop@hadoop01 ~]$ chmod 777 fun.sh 
[hadoop@hadoop01 ~]$ ./fun.sh 
请出入第一个数字:2
请输入第二个数字:7
9

10.shell工具(重点)

10.1. cut

​ cut的工作就是”剪“,具体的说就是在文件中负责剪切数据用的。cut命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。

10.1.1. 基本用法

​ cut [ 选项参数] filename

​ 说明:默认分隔符是制表符

10.1.2. 选项参数说明

选项参数功能
-f列号,提取第几列
-d分隔符,按照指定分隔符分割列

10.1.3.案例实操

​ (1)数据准备

[hadoop@hadoop01 shell]$ touch test.txt
[hadoop@hadoop01 shell]$ vim test.txt 
zhang   san
cai     bi
li      si
wang    ma
lai     zou
le      el
la      la
me      me
mi      mi
shit    fuck

​ (2)切割test.txt第一列

[hadoop@hadoop01 shell]$ cut -d " " -f 1 test.txt    
zhang
cai
li
wang
lai
le
la
me
mi
shit

​ (3)切割text.txt第二列、三列

[hadoop@hadoop01 shell]$ cut -d " " -f 2,3 test.txt  
san
bi
si
ma
zou
el
la
me
mi
fuck

​ (4)在text.txt文件中切割出fuck。

[hadoop@hadoop01 shell]$ cut -d " " -f 2 test.txt |grep fuck
fuck
[hadoop@hadoop01 shell]$ cat test.txt |grep fuck
shit fuck
[hadoop@hadoop01 shell]$ cat test.txt |grep fuck | cut -d " " -f 2 
fuck

​ (5)选取系统PATH变量值,第2个”:“开始后的所有路径

[hadoop@hadoop01 shell]$ echo $PATH
/usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/hadoop/apps/jdk1.8.0_73/bin:/home/hadoop/apps/hadoop-2.7.7/bin:/home/hadoop/apps/hadoop-2.7.7/sbin:/home/hadoop/apps/hive/bin:/home/hadoop/apps/zookeeper/bin:/home/hadoop/apps/scala/bin:/home/hadoop/apps/python/bin:/home/hadoop/apps/spark/sbin:/home/hadoop/bin:/home/hadoop/apps/kafka/bin:/home/hadoop/apps/flume/bin:/home/hadoop/apps/hbase/bin:/home/hadoop/apps/flink/bin
[hadoop@hadoop01 shell]$ echo $PATH | cut -d ":" -f 3-
/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/hadoop/apps/jdk1.8.0_73/bin:/home/hadoop/apps/hadoop-2.7.7/bin:/home/hadoop/apps/hadoop-2.7.7/sbin:/home/hadoop/apps/hive/bin:/home/hadoop/apps/zookeeper/bin:/home/hadoop/apps/scala/bin:/home/hadoop/apps/python/bin:/home/hadoop/apps/spark/sbin:/home/hadoop/bin:/home/hadoop/apps/kafka/bin:/home/hadoop/apps/flume/bin:/home/hadoop/apps/hbase/bin:/home/hadoop/apps/flink/bin

​ (6)切割ifconfig后打印的IP地址。

[hadoop@hadoop01 shell]$ ifconfig
eth0      Link encap:Ethernet  HWaddr 00:0C:29:A7:9F:63  
          inet addr:192.168.111.101  Bcast:192.168.111.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fea7:9f63/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:12213 errors:0 dropped:0 overruns:0 frame:0
          TX packets:11361 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:1193718 (1.1 MiB)  TX bytes:1963702 (1.8 MiB)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)

[hadoop@hadoop01 shell]$ ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 00:0C:29:A7:9F:63  
          inet addr:192.168.111.101  Bcast:192.168.111.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fea7:9f63/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:12219 errors:0 dropped:0 overruns:0 frame:0
          TX packets:11365 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:1194348 (1.1 MiB)  TX bytes:1965230 (1.8 MiB)
[hadoop@hadoop01 shell]$ ifconfig eth0 | grep "inet addr"
          inet addr:192.168.111.101  Bcast:192.168.111.255  Mask:255.255.255.0
[hadoop@hadoop01 shell]$ ifconfig eth0 | grep "inet addr" | cut -d ":" -f 2
192.168.111.101  Bcast
[hadoop@hadoop01 shell]$ ifconfig eth0 | grep "inet addr" | cut -d ":" -f 2| cut -d " " -f 1
192.168.111.101

10.2. sed

​ sed是一种流编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为”模式空间“,接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,知道文件末尾。文件内容并没有改变,除非你使用重定向存储输出。

10.2.1. 基本用法

​ sed [ 选项参数] ’command‘ filename

10.2.2. 选项参数说明

选项参数功能
-e直接在指令列模式上进行sed的动作编辑

10.2.3. 命令功能描述

命令功能描述
a新增,a的后面可以接字符串,在下一行出现
d删除
s查找并替换

10.2.4. 案例实操

(1)数据准备

[hadoop@hadoop01 shell]$ touch set.txt
[hadoop@hadoop01 shell]$ vim set.txt 
zhang san
cai bi
li si
wang ma
lai zou
le el
la la
me me
mi mi
shit fuck

(2)将”mei nv“这个单词插入到set.txt第二行下,打印

[hadoop@hadoop01 shell]$ sed "2a mei nv" set.txt
zhang san
cai bi
mei nv
li si
wang ma
lai zou
le el
la la
me me
mi mi
shit fuck

注意:原文件并未改变

(3)删除set.txt文件所有包含ma的行

[hadoop@hadoop01 shell]$ sed "/ma/d" set.txt   
zhang san
cai bi
li si
lai zou
le el
la la
me me
mi mi
shit fuck

(4)将set.txt文件中me替换为nai

[hadoop@hadoop01 shell]$ sed "s/me/nai/g" set.txt 
zhang san
cai bi
li si
wang ma
lai zou
le el
la la
nai nai
mi mi
shit fuck

注意:g表示global,全部替换

(5)将set.txt文件中的第二行删除并将me替换为nai

[hadoop@hadoop01 shell]$ sed -e "2d" -e "s/me/nai/g" set.txt 
zhang san
li si
wang ma
lai zou
le el
la la
nai nai
mi mi
shit fuck

10.3. awk

​ 一个强大的文本分析工具,把文件逐行的读入,以空格为默认分隔符将每个切片,切开的部分再进行分析处理

10.3.1. 基本用法

​ awk [选项参数] ’pattern1{action1} pattern1{action1} …’ filename

​ pattern:表示AWK在数据中查找的内容,就是匹配模式。

​ action:在找到匹配内容时所执行的一系列命令

10.3.2. 选项参数说明

选项参数功能描述
-F指定输入文件折分隔符
-v赋值一个用户定义变量

10.3.3. 案例实操

(1)数据准备

[hadoop@hadoop01 shell]$ sudo cp /etc/passwd ./
[sudo] password for hadoop: 
[hadoop@hadoop01 shell]$ ls
logs  mock-data  passwd  set.txt  test.txt  zookeeper.out
[hadoop@hadoop01 shell]$ sudo chown hadoop:hadoop passwd
[hadoop@hadoop01 shell]$ cat passwd 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
gopher:x:13:30:gopher:/var/gopher:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
usbmuxd:x:113:113:usbmuxd user:/:/sbin/nologin
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
rpc:x:32:32:Rpcbind Daemon:/var/cache/rpcbind:/sbin/nologin
rtkit:x:499:497:RealtimeKit:/proc:/sbin/nologin
avahi-autoipd:x:170:170:Avahi IPv4LL Stack:/var/lib/avahi-autoipd:/sbin/nologin
abrt:x:173:173::/etc/abrt:/sbin/nologin
rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
haldaemon:x:68:68:HAL daemon:/:/sbin/nologin
gdm:x:42:42::/var/lib/gdm:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
apache:x:48:48:Apache:/var/www:/sbin/nologin
saslauth:x:498:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
pulse:x:497:496:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
hadoop:x:500:501:hadoop:/home/hadoop:/bin/bash

(2)搜索passwd文件以root关键字开头的所有行,并输出该行的第七列。

[hadoop@hadoop01 shell]$ awk -F : '/^root/{print $7}' passwd 
/bin/bash

(3)搜索passwd文件以root关键字开头的所有行,并输出该行的第1列和第7列,中间以”,“号分割。

[hadoop@hadoop01 shell]$ awk -F : '/^root/{print $1","$7}' passwd            
root,/bin/bash

(4)只显示/etc/passwd的第一列和第七列,以逗号分隔,且在所有行的钱买你添加列名user,shell在最后一行添加”lalala,/bin/haihaihai“。

[hadoop@hadoop01 shell]$ awk -F : 'BEGIN{print "user,shell"} {print $1","$7} END{print "lalala,/bin/haihaihai"}' passwd   
user,shell
root,/bin/bash
bin,/sbin/nologin
daemon,/sbin/nologin
adm,/sbin/nologin
lp,/sbin/nologin
sync,/bin/sync
shutdown,/sbin/shutdown
halt,/sbin/halt
mail,/sbin/nologin
uucp,/sbin/nologin
operator,/sbin/nologin
games,/sbin/nologin
gopher,/sbin/nologin
ftp,/sbin/nologin
nobody,/sbin/nologin
dbus,/sbin/nologin
usbmuxd,/sbin/nologin
vcsa,/sbin/nologin
rpc,/sbin/nologin
rtkit,/sbin/nologin
avahi-autoipd,/sbin/nologin
abrt,/sbin/nologin
rpcuser,/sbin/nologin
nfsnobody,/sbin/nologin
haldaemon,/sbin/nologin
gdm,/sbin/nologin
ntp,/sbin/nologin
apache,/sbin/nologin
saslauth,/sbin/nologin
postfix,/sbin/nologin
pulse,/sbin/nologin
sshd,/sbin/nologin
tcpdump,/sbin/nologin
hadoop,/bin/bash
lalala,/bin/haihaihai

注意:BEGIN在所有数据读取行之前执行;END在所有数据执行之后执行。

(5)将passwd文件中的用户id增加数值1并输出。

[hadoop@hadoop01 shell]$ awk -F : -v i=1 '{print $3+i}' passwd  
1
2
3
4
5
6
7
8
9
11
12
13
14
15
100
82
114
70
33
500
171
174
30
65535
69
43
39
49
499
90
498
75
73
501

10.3.4. awk的内置变量

变量说明
FILENAME文件名
NR已读的记录数
NF浏览记录的域的个数(切割后,列的个数)

10.3.5.案例实操

(1)统计passwd文件名,每行的行号,每行的列数

[hadoop@hadoop01 shell]$ awk -F : '{print "filename:" FILENAME ", linenumber:" NR ", columns:" NF}' passwd 
filename:passwd, linenumber:1, columns:7
filename:passwd, linenumber:2, columns:7
filename:passwd, linenumber:3, columns:7
filename:passwd, linenumber:4, columns:7
filename:passwd, linenumber:5, columns:7
filename:passwd, linenumber:6, columns:7
filename:passwd, linenumber:7, columns:7
filename:passwd, linenumber:8, columns:7
filename:passwd, linenumber:9, columns:7
filename:passwd, linenumber:10, columns:7
filename:passwd, linenumber:11, columns:7
filename:passwd, linenumber:12, columns:7
filename:passwd, linenumber:13, columns:7
filename:passwd, linenumber:14, columns:7
filename:passwd, linenumber:15, columns:7
filename:passwd, linenumber:16, columns:7
filename:passwd, linenumber:17, columns:7
filename:passwd, linenumber:18, columns:7
filename:passwd, linenumber:19, columns:7
filename:passwd, linenumber:20, columns:7
filename:passwd, linenumber:21, columns:7
filename:passwd, linenumber:22, columns:7
filename:passwd, linenumber:23, columns:7
filename:passwd, linenumber:24, columns:7
filename:passwd, linenumber:25, columns:7
filename:passwd, linenumber:26, columns:7
filename:passwd, linenumber:27, columns:7
filename:passwd, linenumber:28, columns:7
filename:passwd, linenumber:29, columns:7
filename:passwd, linenumber:30, columns:7
filename:passwd, linenumber:31, columns:7
filename:passwd, linenumber:32, columns:7
filename:passwd, linenumber:33, columns:7
filename:passwd, linenumber:34, columns:7

(2)切割IP

[hadoop@hadoop01 shell]$ ifconfig eth0 
eth0      Link encap:Ethernet  HWaddr 00:0C:29:A7:9F:63  
          inet addr:192.168.111.101  Bcast:192.168.111.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fea7:9f63/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:14464 errors:0 dropped:0 overruns:0 frame:0
          TX packets:12687 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:1440500 (1.3 MiB)  TX bytes:2174234 (2.0 MiB)

[hadoop@hadoop01 shell]$ ifconfig eth0 | grep "inet addr"
          inet addr:192.168.111.101  Bcast:192.168.111.255  Mask:255.255.255.0
[hadoop@hadoop01 shell]$ ifconfig eth0 | grep "inet addr"|awk -F : '{print $2}' 
192.168.111.101  Bcast
[hadoop@hadoop01 shell]$ ifconfig eth0 | grep "inet addr"|awk -F : '{print $2}'| awk -F " " '{print $1}'
192.168.111.101

(3)查询set.txt中空行所在的行号

[hadoop@hadoop01 shell]$ vim set.txt 
zhang san
cai bi

li si
wang ma
lai zou
le el
la la
me me
mi mi
shit fuck
                     
"set.txt" 11L, 74C written                                                                     
[hadoop@hadoop01 shell]$ awk '/^$/{print NR}' set.txt 
3

10.4. sort

​ sort命令是在Linux里面非常有用,它将文件进行排序,并将排序结果标准输出。

10.4.1. 基本语法

sort(选项)(参数)

选项说明
-n依照数值大小排序
-r以相反的顺序来排序
-t设置排序时所用的分隔字符
-k指定需要排序的列

参数:指定待排序的文件列表

10.4.2. 案例实操

(1)数据准备

[hadoop@hadoop01 shell]$ touch sort.sh
[hadoop@hadoop01 shell]$ vim sort.sh 
bb:40:5.4
bd:20:4.2
zx:50:2.3
cds:10:2.6
ss:30:7.4

(2)按照“:”分割后的第三列倒序排序

[hadoop@hadoop01 shell]$ sort -t ":" -nrk 2 sort.sh 
zx:50:2.3
bb:40:5.4
ss:30:7.4
bd:20:4.2
cds:10:2.6

11.企业真实面试题

11.1. 京东

问题一:使用Linux命令查询file1中空行所在的行号

答案:awk ‘/^$/{print NR}’ file1

问题二:有文件chengji.txt内容如下:

​ 张三 40

​ 李四 50

​ 王五 60

使用Linux命令计算第二列的和并输出

答案: cat chengji.txt |awk -F " " ‘{sum+=$2} END{print sum}’

11.2. 搜狐&和讯网

问题1:Shell脚本里如何检查一个文件是否存在?如果不存在该如何处理?

#!/bin/bash
if [ -f file.txt ]
then
	echo "文件存在!"
else
	echo "文件不存在!"
fi

11.3. 新浪

问题一:用shell写一个脚本,对文本中无需的一列数字排序并且累加求和。

sort -n feil.txt | awk '{a+=$0;print $0} END {print "sum="$a}'

11.4. 金和网络

问题1:请用shell脚本写出查找当前文件夹(/home)下所有文本内容中包含有字符“shen”的文件名称

grep -r "shen" /home |cut -d ":" -f 1

me
mi mi
shit fuck

“set.txt” 11L, 74C written
[hadoop@hadoop01 shell]$ awk ‘/^$/{print NR}’ set.txt
3


## 10.4. sort

​	sort命令是在Linux里面非常有用,它将文件进行排序,并将排序结果标准输出。

### 10.4.1. 基本语法

sort(选项)(参数)

| 选项 | 说明                     |
| ---- | ------------------------ |
| -n   | 依照数值大小排序         |
| -r   | 以相反的顺序来排序       |
| -t   | 设置排序时所用的分隔字符 |
| -k   | 指定需要排序的列         |

参数:指定待排序的文件列表

### 10.4.2. 案例实操

(1)数据准备

```sh
[hadoop@hadoop01 shell]$ touch sort.sh
[hadoop@hadoop01 shell]$ vim sort.sh 
bb:40:5.4
bd:20:4.2
zx:50:2.3
cds:10:2.6
ss:30:7.4

(2)按照“:”分割后的第三列倒序排序

[hadoop@hadoop01 shell]$ sort -t ":" -nrk 2 sort.sh 
zx:50:2.3
bb:40:5.4
ss:30:7.4
bd:20:4.2
cds:10:2.6

11.企业真实面试题

11.1. 京东

问题一:使用Linux命令查询file1中空行所在的行号

答案:awk ‘/^$/{print NR}’ file1

问题二:有文件chengji.txt内容如下:

​ 张三 40

​ 李四 50

​ 王五 60

使用Linux命令计算第二列的和并输出

答案: cat chengji.txt |awk -F " " ‘{sum+=$2} END{print sum}’

11.2. 搜狐&和讯网

问题1:Shell脚本里如何检查一个文件是否存在?如果不存在该如何处理?

#!/bin/bash
if [ -f file.txt ]
then
	echo "文件存在!"
else
	echo "文件不存在!"
fi

11.3. 新浪

问题一:用shell写一个脚本,对文本中无需的一列数字排序并且累加求和。

sort -n feil.txt | awk '{a+=$0;print $0} END {print "sum="$a}'

11.4. 金和网络

问题1:请用shell脚本写出查找当前文件夹(/home)下所有文本内容中包含有字符“shen”的文件名称

grep -r "shen" /home |cut -d ":" -f 1
  • 1
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值