linuxday03

yum

yum，是Yellowdog Updater Modified的缩写，是Linux⼀种软件包管理⼯具。

yum的本质其实还是RPM的安装，yum只是对其进⾏了⾃动的管理，不需要我们再⼿ 动的管理依赖。

yum⾃带的镜像是⼀个国外的地址，速度会⽐较慢。因此在使⽤的过程中，很多时候我们 是需要将其替换为国内的源的。

常⻅的国内的源:

http://mirrors.163.com # ⽹易的源

http://mirrors.sohu.com # 搜狐的源

http://mirrors.tuan.tsinghua.edu.cn # 清华⼤学源

http://mirrors.ustc.edu.cn # 中科⼤源

https://mirrors.aliyun.com # 阿⾥巴巴的源

# 1. 切换到源⽂件的路径下

# 在这个路径下，有若⼲个repo⽂件，⾥⾯记录的就是源信息

# ⽹络镜像源，在CentOS-Base.repo中

# cd /etc/yum.repos.d #

2. 将原来的源备份

# mv CentOS-Base.repo CentOS-Base.repo.bak

# 3. 下载阿⾥云的源配置信息到本地

# curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo

# 4. 重新构建YUM的缓存

# yum clean all

# yum makecache

Shell编程

Shell也是⼀⻔编程语⾔，即shell脚本

Shell编程规范

脚本⽂件的结构

1 ⽂件的扩展名必须是.sh

2 ⽂件的⾸⾏必须使⽤#! 指定script的运⾏shell环境(即脚本解释器) 如：#!/bin/bash

3 脚本⾥的⾏注释符号为#

4 指令、选项、参数之间即使有多个空格仍会被视为⼀个空格。

5 tab键形成的空⽩也被视为⼀个空格键

6 空⽩⾏会被忽略

脚本⽂件的执⾏

使⽤bash程序调⽤执⾏，只需要有读权限即可

# sh *.sh

或者

# bash *.sh

直接写script，必须要有rx权限才⾏

# ./*.sh

绝对路径写法： /hadoop/*.sh

相对路径写法： ./*.sh

借助变量PATH功能

将*.sh放⼊~/bin⽬录下，因为PATH⾥拼接了~/bin⽬录。

注意：~/bin⽬录必须⾃⾏创建

Shell的变量

变量的⽤法

1. 变量的命名规则

        - 命名只能使⽤英⽂字⺟，数字和下划线。⾸个字符不能以数字开头。

        - 字⺟习惯使⽤⼤写。

        - 中间不能有空格。

        - 不能使⽤标点符号。

        - 不能使⽤bash⾥的关键字（可⽤help命令查看保留关键字）

2. 变量的使⽤规则

        - 直接定义变量名称，没有类型需要强调（类似于数学中:x=1,y=2,z=x+y）

        - 赋值时，"="前后不能有空格

        - 命令的执⾏结果赋值给变量时，使⽤反单引号 如：TIME=`date`

        - 调⽤变量时，必须使⽤$ 格式： $变量名 或 ${变量名}

变量的分类

Linux Shell中的变量可以分为三种变量: 局部变量、环境变量、特殊变量。可以通过 set 命令查看系统中存在的所有变量

局部变量：也就是⽤户⾃定义的变量，在脚本中或命令中定义

环境变量：保存和系统操作环境相关的数据。$HOME、$PWD、$SHELL、$USER等等

特殊变量：

        ⼀种是位置参数变量：主要⽤来向脚本中传递参数或数据，变量名不能⾃定义，变 量作⽤固定。

        ⼀种是预定义变量：是Bash中已经定义好的变量，变量名不能⾃定义，变量作⽤也 是固定的。

局部变量

⽤户⾃定义的变量由字⺟或下划线开头，由字⺟，数字或下划线序列组成，并且⼤⼩ 写字⺟意义不同，变量名⻓度没有限制。

定义变量

习惯上⽤⼤写字⺟来命名变量。变量名以字⺟表示的字符开头，不能⽤数字。

调⽤变量

在使⽤变量时，要在变量名前加上前缀“$”.

使⽤echo 命令查看变量值

# echo $A

变量赋值

第⼀种:定义时赋值

# 变量=值 # 注意: 在上述的定义⽅式中，等号的左右两侧不能有空格

# STR="hello qianfeng"

# A=9

第⼆种: 将⼀个命令的执⾏结果给变量赋值

# A=`ls -la` 反引号，运⾏⾥⾯的命令，并把结 果返回给变量A

# A=$(ls -la) 等价于反引号

# AA=$((4+5))

# BB=`expr 4 + 5 `

第三种: 将⼀个变量的值赋给另⼀个变量

# A=$STR

变量叠加

# 变量叠加，就是将两个字符串变量的值叠加在⼀起，类似于Java中的字符串拼 接操作。

# A=123

# C="$A"456

# D=${A}789

# 单引号和双引号的区别

# 现象：单引号⾥的内容会全部输出，⽽双引号⾥的内容会有变化

# 原因：单引号会将所有特殊字符脱意

# NUM=10

# SUM="$NUM hehe"

# echo $SUM # 输出10 hehe

# SUM2='$NUM hehe'

# echo $SUM2

# 输出$NUM hehe

删除变量

# 删除之前已经定义过的变量，之后就⽆法再使⽤这个变量了。

# 撤销变量 A

# unset A

# 声明静态的变量 B=2 ，不能 unset

# readonly B=2

# 报错: -bash: unset: B: cannot unset: readonly variable

# unset B

注意 

关于局部变量的作⽤域的问题: ⽤户⾃定义的局部变量，作⽤于仅为当前的Shell 环境。仅在当前的Shell示例中有效，其他的Shell启动的程序不能访问局部变 量。

# echo '#!/bin/bash' > test.sh

# A=22

# echo 'echo $A' >> test.sh

# echo $A 结果:22

# bash test.sh 结果:打印为空,因为bash会开启 新的shell进程

环境变量

⽤户⾃定义的局部变量，只能在当前的Shell中⽣效，⽽环境变量会在当前Shell和其 所有的⼦Shell中⽣效。如果把环境变量写⼊相应的配置⽂件，那么这个环境变量就 会在所有的Shell中⽣效。

作⽤域: 当前的Shell以及所有的⼦Shell

声明变量: export 变量名=变量值

定义环境变量的常⻅配置⽂件:

        /etc/profile -> 针对系统所有的⽤户⽣效，此⽂件应⽤于所有⽤户每次登录系统 时的环境变量定义。每次⽤户登录的时候，都会加载这个⽂件。

        $HOME/.bash_profile -> 针对特定⽤户⽣效，$HOME为⽤户的宿主⽬录。当 这个⽤户登录时，⾸先加载/etc/profile⽂件中的定义，再加载 $HOME/.bash_profile⽂件中的定义。

位置参数变量

$n

        n为数字，表示第⼏个参数。

        $0表示命令本身，$1-$9表示第1到第9个参数，10以上的参数需要使⽤⼤ 括号包含，例如${10}

$*

        代表命令⾏中所有的参数，把所有的参数看成⼀个整体。以"$1 $2 … $n"的形式输出所有参数

$@

        代表命令⾏中的所有参数，把每个参数区分对待。以"$1" "$2" … "$n" 的 形式输出所有参数

$#

        参数的个数

$* 和 $@ 的区别

        他们都表示传递给函数或脚本的所有参数，不被双引号包含时，都以 "$1""$2""$3"..."$n" 的形式输出所有参数。

        当他们被双引号包含时

                "$*"会将所有的参数作为⼀个整体，以 $1 $2 $3 ... $n 的形式输出 所有的参数。

                "$@"会将各个参数分开，以 "$1""$2""$3"..."$n" 的形式输出所有参 数。

$?

        执⾏上⼀个命令的返回值。执⾏成功，返回0；执⾏失败，返回⾮0

$$

        当前进程的进程号(PID)，即当前脚本执⾏时⽣成的进程号

$!

        后台运⾏的最后⼀个进程的进程号(PID)，最近⼀个被放⼊后台执⾏的进 程

# ls ; echo $?

# 分析: 这⾥的意思是依次顺序执⾏两个命令

# 如果分号前的命令可以执⾏，$?会返回0; 否则会返回⾮0的⼀个数字

# pwd > /dev/null

# echo $$

# ls /etc > /dev/null &

# echo $!

read命令

read命令，可以从控制台读取⽤户输⼊的内容，并且给指定的变量进⾏赋值。

命令的基本格式为: read [option] variable

常⻅的option:

-p : 提示语句，在输⼊之前，给⽤户提示的信息

-n : 限制输⼊的字符数量，到达这个数量的字符的时候，会⾃动的停⽌输⼊

-t : 等待时间，单位为秒。当到达这个等待时间的时候，会⾃动的结束输⼊，并且不会 读取任何输⼊的内容!

        即，输⼊操作且回⻋，必须在指定的时间内完成。

-s : 隐藏输⼊的内容。在控制台上不显示任何输⼊的内容，常⻅于密码的输⼊

read的实例

# read -t 30 -p "please input your name:" NAME

# echo $NAME

# read -s -p "please input your age :" AGE

# echo $AGE 注意：如果隐藏输⼊，这⾥的结果是看不到 的

# read -n 1 -p "please input your sex [M/F]:" GENDER

# echo $GENDER

注意事项

在输⼊的时候，如果输错了需要删除的时候，执⾏ ctrl+delete

符号不要输⼊中⽂

变量与之前的内容需要保持有空格

运算

expr

格式 :expr m + n 或$((m+n)) 注意expr与运算符和变量间要有空格

sum=$((m+n)) 中=与$之间没有空格

expr命令：对整数型变量进⾏算术运算

(注意：运算符前后必须要有空格)

# expr 3 + 5

# expr 3 – 5

# echo `expr 10 / 3`

10/3的结果为3，因为是取整

# expr 3 \* 10 \ 是转义符

示例

计算（2 ＋3 ）×4 的值 1 .分步计算

# S=`expr 2 + 3`

# expr $S \* 4

2.⼀步完成计算

# expr `expr 2 + 3` \* 4

# S=`expr \` expr 2 + 3 \` \* 4`

# echo $S

或

# echo $(((2 + 3) * 4))

$()与${}

$()与${}的区别

$( )的⽤途和反引号``⼀样，⽤来表示优先执⾏的命令

# echo $(ls /root) ${ } 就是取变量了

# echo ${PATH} $((运算内容)) 适⽤于数值运算

# echo $((3+1*4))

字符串

字符串的脚本⽤法

- 字符串不能单独出现，必须要配合变量。

- 字符串可以使⽤单引号[' ']，也可以使⽤双引号[" "]，也可以不⽤引号

- 单引号内的任何字符没有任何意义，都会原样输出

- 单引号内使⽤变量是⽆效的，单引号内不能出现单引号

- 双引号内可以使⽤变量

- 双引号内可以使⽤转义字符

- 在字符串拼接操作时，我们可以进⾏⽆缝拼接，或者是在双引号⾥使⽤变量

字符串的⻓度

可以使⽤${#variable} 或者 expr length "${variable}"。因为expr是指 令，所以别忘记使⽤反单引号``或者是$()

直接看案例：

# vim test3.sh

#!/bin/bash

var='welcome to china'

length1=${#var}

length2=$(expr length "${var}") <==$()写法

length3=`expr length "$var"` <==反单引号写法

Shell数组

数组的使⽤规则

- 在/bin/bash这个shell中，只有⼀维数组的概念，并且不限定数组的⻓度。

- 数组的元素下标是从0开始的，

- 获取数组的元素要使⽤下标

- 下标使⽤不当，会报错

数组的定义

定义格式： variable=(值1 值2 … 值n)

注意：元素之间除了使⽤空格作为分隔符，还可以使⽤换⾏符。

或者

name[0]=值1 name[1]=值2 … name[n]=值n

读取数组

${variable[index]}： 读取index索引上的元素

${variable[*]}或者${variable[@]}：读取所有元素

${#variable[*]}或者${#variable[@]} : 读取数组的⻓度

# vim test3.sh

#!/bin/bash

citys=(cc sh bj sd hlj)

hobby[0]=book

hobby[1]=film

hobby[2]=music

echo ${citys[0]} <==cc

echo ${hobby[*]} <==book film music

echo ${#hobby[@]} <==3 

# bash test3.sh

test测试命令

通常test命令不单独使⽤，⽽是与if语句连⽤，或是放在循环结构中

判断符号[]

除了好⽤的test之外，我们还可以使⽤中括号来进⾏检测条件是否成⽴

# [ -r filename ] 检测filename是否有 可读权限

# [ -f filename -a -r filename ] 检测filename是不是普通⽂件并且有可读权限

条件控制

if条件语句-单分⽀

if [ 条件判断 ]

then

        条件成⽴的执⾏逻辑

fi

或者

if [ 条件判断 ] ; then

        条件成⽴的执⾏逻辑

fi

#!/bin/bash

A=$1

if [ $A == "stop" ]

then

        systemctl stop firewalld

fi

注意事项:

1. if语句需要使⽤fi结尾，和⼀般语⾔使⽤⼤括号结尾不同。

2. [ 条件判断 ] 就是使⽤test命令判断，所以中括号和条件判断之间必须有空格

3. then后⾯跟符合条件之后执⾏的程序，可以放在[]之后，⽤;分隔，也可以换⾏写 ⼊，就不需要;了

4. if与中括号之间必须要有空格

if条件语句-多分⽀

if [ 条件判断式1]

then

        当条件判断式1成⽴时，执⾏程序1

elif [ 条件判断式2 ]

then

        当条件判断式2成⽴时，执⾏程序2 ...省略更多条件

else

        当所有条件都不成⽴时，最后执⾏此程序

fi

#!/bin/bash

read -p "please input your name:" NAME

echo $NAME

if [ $NAME == root ]

then

        echo "hello ${NAME}, welcome !"

elif [ $NAME == tom ]

then

        echo "hello ${NAME}, welcome !"

else

        echo "oh, get out here !"

fi

case

在Java中，我们学习过switch-case结构。这种结构，我们可以捕获⼀个变量的值，对 这个变量取到的某些值进⾏不同的处理。在Shell中，也有类似的结构，就是case。 

- case命令是⼀个多分⽀的if/else命令，case变量的值⽤来匹配value1、 value2、value3等不同的值。

- 匹配到后，则执⾏跟在后⾯的命令，直到遇到双分号为⽌。

- 类似于if命令，case命令使⽤esac作为终⽌符。

- case⾏尾必须为单词in。

- 每个分⽀必须以右括号结束。

- 匹配模式中可使⽤⽅括号表示⼀个连续的范围，如[0-9]；使⽤竖杠符号“|”表示或。

- 最后的“\*）”表示默认模式，当使⽤前⾯的各种模式均⽆法匹配该变量时，将执⾏ “*）”后的命令序列。

# case的格式

CMD=$1

case $CMD in

.......... case⾏尾必须为 变量 in，表示捕获这个变量的值

start)

.......... 需要匹配到的值，需要以右括号作为结尾

        echo "starting"

.......... 匹配到之后，执⾏的逻辑语句，即⼀个分⽀

        ;;

.......... ⼀个分⽀的逻辑，需要以;;作为结束，不会向下穿透

stop)

        echo "stopping" ;; *)

.......... *表示以上分⽀都不满⾜的情况，类似于switch-case中的default echo "please using start|stop"

;;

esac

.......... case语句，需要以esac结束

循环

for循环

for循环命令⽤来在⼀个列表条⽬中执⾏有限次数的命令。

⽐如，你可能会在⼀个姓名列表或⽂件列表中循环执⾏同个命令。

for命令后紧跟⼀个⾃定义变量、⼀个关键字in和⼀个字符串列表（可以是变量）。

第⼀次执⾏for循环时，字符串列表中的第⼀个字符串会赋值给⾃定义变量，然后执⾏ 循环命令，直到遇到done语句；

第⼆次执⾏for循环时，会右推字符串列表中的第⼆个字符串给⾃定义变量

依次类推，直到字符串列表遍历完。

for N in 1 2 3 do echo $N done

或

for N in 1 2 3; do echo $N; done

或

for N in {1..3}; do echo $N; done

或

for N in {1,2,3}; do echo $N; done

注意事项: {}中的数字之间不能有空格

for ((i = 0; i <= 5; i++))

do

        echo "welcome $i times"

done

或

for ((i = 0; i <= 5; i++)); do echo "welcome $i times"; done

while循环

while [ expression ]

do

        command

done

while (( expression ))

do

        command

        …

done

函数

函数代表着⼀个或⼀组命令的集合，表示⼀个功能模块，常⽤于模块化编程。

以下是关于函数的⼀些重要说明：

在shell中，函数必须先定义，再调⽤

使⽤return value来获取函数的返回值

函数在当前shell中执⾏，可以使⽤脚本中的变量。

函数的格式

函数名()

{

        命令1…

        命令2…

        return 返回值变量

}

结构:

[ function ] funname [()]

{

        action;

        [return int;]

} function start() / function start / start()

- 如果函数名后没有（），在函数名和{ 之间，必须要有空格以示区分。

- 函数返回值，只能通过$? 系统变量获得，可以显示加：return 返回值

- 如果不加return，将以最后⼀条命令的运⾏结果，作为返回值。

- return后的内容以字符串的形式写⼊，但是执⾏时会⾃动转成数值型，范围：数值 n(0-255)

- 如果函数名后没有（），在函数名和{ 之间，必须要有空格以示区分。 - 函数返回值，只能通过$? 系统变量获得，可以显示加：return 返回值 - 如果不加return，将以最后⼀条命令的运⾏结果，作为返回值。 - return后的内容以字符串的形式写⼊，但是执⾏时会⾃动转成数值型，范围：数值 n(0-255)

脚本调试

-x: 执⾏脚本，并显示所有变量的值

-n: 不执⾏脚本，只是检查语法。将返回所有语法错误，例如函数没有正确闭合 等

-v: 执⾏并显示脚本内容

awk

cut命令

cut [选项] ⽂件名 默认分割符是制表符，⼀个制表符代表⼀列

选项：

-f 列号： 提取第⼏列

-d 分隔符： 按照指定分隔符分割列

# cut -f 2 aa.txt 提取第⼆列

# cut -d ":" -f 1,3 /etc/passwd 以:分 割，提取第1和第3列

# cat /etc/passwd | grep /bin/bash | grep -v root | cut -d ":" -f 1 获取所有可登陆的普通⽤户⽤户名 cut的局限性 不能分割不定⻓度的空格

⽐如:df -h 不能使⽤cut分割

# df -h | grep sda1 | cut -f 5

awk

⼀个强⼤的⽂本分析⼯具

把⽂件逐⾏的读⼊，以空格为默认分隔符将每⾏切⽚，切开的部分再进⾏各种分析处 理。

语法：awk ‘条件1{动作1}条件2{动作2}...’⽂件名

条件（Pattern）:

⼀般使⽤关系表达式作为条件： > >= <=等

动作（Action）：

格式化输出

流程控制语句

# df -h | awk '{print $1 "\t" $3}' 显示第⼀列和第三列

FS内置变量

eg: 输出可登陆⽤户的⽤户名和UID

# cat /etc/passwd | grep "/bin/bash" | awk 'BEGIN {FS=":"} {print \$1 "\t"\$3 }'

这⾥使⽤FS内置变量指定分隔符为：,⽽且使⽤BEGIN保证第⼀⾏也操作，因为awk命 令会在读取第⼀⾏后再执⾏条件

注意:指定分隔符⽤-F更简单

# cat /etc/passwd | grep "/bin/bash" | awk -F: '{print \$1 "\t"\$3 }' 效果同上

eg: 判断⼀下根⽬录的使⽤情况

# df -h |grep sda1 | awk '{print \$5}' | awk -F% '{print \$1} \$180{print "warning"}'

BEGIN 在所有数据读取之前执⾏

# awk 'BEGIN {printf "first Line \n"} {printf $2 }' aa.txt

在输出之前使⽤BEGIN输出内容 END 在所有数据执⾏之后执⾏

# awk 'END {printf "The End \n"} {print $2}' aa.txt 所有命令执⾏完后，输出⼀句"The End"

# df -h | grep sda2 | awk '{print \$5}' | awk -F% '{print \$1}'

# df -h | grep sda2 | awk '{print $5}' | cut -d"%" -f 1

eg: 获取所有⽤户信息⾥的⽤户名：

# cat /etc/passwd | awk -F: '{print $1}'

# awk -F: '{print $1}' /etc/passwd

eg: 获取当前机器的ip地址： ifconfig eth0

# ifconfig eth0 | grep 'inet addr' | awk -F: '{print \$2}' | awk '{print $1}'

sed

sed: stream editor

sed是⼀个⾮交互性⽂本流编辑器。它编辑⽂件或标准输⼊导出的⽂本拷⻉。标准输 ⼊可能是来⾃键盘、⽂件重定向、字符串或变量，或者是⼀个管道的⽂本

注意： sed并不与初始化⽂件打交道， 它操作的只是⼀个拷⻉，然后所有的改动如 果没有重定向到⼀个⽂件，将输出到屏幕。

语法：sed [选项]’[动作]’ ⽂件名

常⽤选项:

-n 使⽤安静（silent）模式。显示经过sed特殊处理的数据。

-e 允许多点编辑。

-i 直接修改读取的档案内容，⽽不是由屏幕输出。

a 新增， a 的后⾯可以接字符串，在下⼀⾏出现 注意：最好动作使⽤单引 号，可以⾃动换⾏

c 替换

d 删除

i 插⼊， i 的后⾯可以接字符串

p 打印

s 查找并替换，例如 1,20s/old/new/g

# sed '2p' sed.txt 显示第⼆⾏和所有数据

# sed -n '2,3p' sed.txt 只显示第⼆和第三 ⾏

# df -h | sed -n '1p' 接收命令结果数据

# sed ‘2a bing’ sed.txt 在第⼆⾏后⾯添加数 据

# sed ‘4i fengjie \ chenchen’ sed.txt 在第4⾏之前添加两⾏数据eg:

# sed ‘2c this is replace’ sed.txt 替 换第⼆⾏数据

# sed ‘s/it/edu360/g’ sed.txt 把 sed.txt⽂件中的it替换为edu360,并输出

# sed -e '1s/1/34/g;3s/yangmi//g' sed.txt 同时进⾏多个替换

# sed –i ‘s/it/edu360/g’ sed.txt 要想真正替换，需要使⽤-i参数

案例代码演示:

# more sed.txt

sldx

it spark

hadoop edu

it hadoop

it scala

# sed -e 's/it/edu360/g' sed.txt

sldx

edu360 spark

hadoop edu

edu360 hadoop

edu360 scala

使⽤sed获取机器的ip地址 注意:在对⽂件进⾏匹配的时候,^是⼀个⽂件的开始 $是⼀个⽂件的结束

^.*addr:意思是说从开始到addr全部的内容

centos6.9系统命令

# ifconfig eth0 | grep 'inet addr'| sed 's/^.*addr://g' | sed 's/ Bcast.*$//g'

centos7.7系统命令

# ip addr | grep "inet " | grep "eth0" | sed 's/^.*inet //g' | sed 's/\/24.*$//g'