大数据前篇02_shell编程

shell编程

bash和sh的关系：sh是通过 指向bash（解释器），bash负责解释shell命令给linux内核

shell脚本入门

脚本格式

​ 脚本以#!/bin/bash开头（指定解释器）

脚本的常用执行方式

​ (1)采用bash或sh +脚本的相对路径或者结对路径（不用赋予脚本+X权限）

sh+脚本的相对路径:

[atguigu@hadoop101 datas]$ sh helloworld.sh 
输出：Helloworld

sh+脚本的绝对路径

[atguigu@hadoop101 datas]$ sh /home/atguigu/datas/helloworld.sh 
输出：helloworld

bash+脚本的相对路径

[atguigu@hadoop101 datas]$ bash helloworld.sh 
输出：Helloworld

bash+脚本的绝对路径

[atguigu@hadoop101 datas]$ bash /home/atguigu/datas/helloworld.sh 
输出：Helloworld

​ (2)采用输入脚本的绝对路径或者相对路径执行脚本（必须具有可执行权限）

a.首先要赋予hellworld.sh脚本的执行权限

[atguigu@hadoop101 datas]$ chmod +x helloworld.sh

b.执行脚本

相对路径

[atguigu@hadoop101 datas]$ ./helloworld.sh 
输出：Helloworld

绝对路径

[atguigu@hadoop101 datas]$ /home/atguigu/datas/helloworld.sh 
输出:Helloworld

变量

常用系统变量

$HOME , $PWD , $SHELL , $USER 等

自定义变量

​ (1)基本语法

​ a.定义变量：变量=值

​ b.撤销变量：unset 变量

​ c.声明静态变量：readonly变量，注意：不能unset

​ (2)变量定义规则

​ a.变量名称可以由字母、数字和下划线组成，但是不能以数字开头，环境变量名建议大写

​ b.等号两侧不能有空格

​ c.在bash中，变量默认类型都是字符串类型，无法直接进行数值运算

​ d.变量的值如果有空格，需要使用双引号或单引号括起来

双引号和单引号

双引号可以在里面放参数，单引号不可以，单引号就把它们整体当作字符串了

（1）单引号不取变量值

（2）双引号取变量值

（3）反引号`，执行引号中命令

（4）双引号内部嵌套单引号，取出变量值

（5）单引号内部嵌套双引号，不取出变量值

特殊变量

$n

基本语法：$n （功能描述：n为数字，$0代表该脚本名称，$1-$9代表第一到第九个参数，十以上的参数，十以上的参数需要用大括号包含，如${10}）（用来接受参数）

$#

基本语法：$# （功能描述：获取所有输入参数个数，常用于循环）

$?

基本语法：$？ （功能描述：最后一次执行的命令的返回状态。如果这个变量的值为0，证明上一个命令正确执行；如果这个变量的值为非0（具体是哪个数，由命令自己来决定），则证明上一个命令执行不正确了。）

$*

**基本语法：**这个变量代表命令行中所有的参数，$*把所有的参数看成一个整体（“ ”）

$#

**基本语法：**这个变量也代表命令行中所有的参数，不过$@把每个参数区分对待（“ ”）

$？

**基本语法：**最后一次执行的命令的返回状态。如果这个变量的值为0，证明上一个命令正确执行；如果这个变量的值为非0（具体是哪个数，由命令自己来决定），则证明上一个命令执行不正确了

运算符

基本语法：

$((运算式))	或	$[运算式]

条件判断（重点）

基本语法

举例：

[atguigu@hadoop101 datas]$ [ 23 -ge 22 ]
[atguigu@hadoop101 datas]$ echo $?
输出：0

echo $? --判断是否判断正确（0则正确，其他则是错）

常用判断条件

(1)两个整数之间比较

= 字符串比较

-lt 小于 (less than) -le 小于等于(less equal)

-eq 等于 (equal) -gt 大于(greater than)

-ge 大于等于(greater equal) -ne 不等于 (Not equal)

(2)按照文件权限进行判断

-r 有读的权限 (read) -w 有些的权限 (write)

-x 有执行的权限 (execute)

(3) 按照文件类型进行判断

-f 文件存在并且是一个常规的文件(file)

-e 文件存在 (existence) -d 文件存在并是一个目录 (directory)

流程控制

if判断

基本语法

if [ 条件判断式 ]
then
//程序
elif [条件判断式]
then
//程序
else
//程序
fi //结束if循环

注意事项：

(1) [条件判断式]，中括号和条件判断式之间必须有空格

(2) if后要有空格

case语句

基本语法

case $变量名 in 
  "值1"） 
    如果变量的值等于值1，则执行程序1 
    ;; 
  "值2"） 
    如果变量的值等于值2，则执行程序2 
    ;; 
  …省略其他分支… 
  *） 
    如果变量的值都不是以上的值，则执行此程序 
    ;; 
esac

注意事项：

(1) case行尾必须为单词“in”，每一个模式匹配必须以右括号“）”结束

(2) 双分号“;;”表示命令序列结束，相当于java中的break

(3) 最后的“*）”表示默认模式，相当于java中的default

for循环

基本语法

for(( 初始值;循环控制条件;变量变化 ))
do
	程序
done

while循环

基本语法

while [ 条件判断式 ] 
  do 
    程序
  done

read读取控制台

基本语法

read(选项)(参数)

选项：

-p: 指定读取时的提示符

-t: 指定读取值时等待的时间 (秒)

参数

​ 变量：指定读取值的变量名

函数

系统函数

basename

基本语法

​ basename [string / pathname] [suffix] （功能描述：basename命令会删掉所有的前缀包括最后一个（‘/’）字符，然后将字符串显示出来

举例：

//截取该/home/atguigu/banzhang.txt路径的文件名称
[atguigu@hadoop101datas]$ basename /home/atguigu/banzhang.txt 
banzhang.txt
[atguigu@hadoop101 datas]$ basename /home/atguigu/banzhang.txt .txt
banzhang

dirname

基本语法

​ dirname 文件绝对路径 （功能描述：从给定的包含绝对路径的文件名中去除文件名（非目录的部分），然后返回剩下的路径（目录的部分））

举例;

//获取banzhang.txt文件的路径
[atguigu@hadoop101 ~]$ dirname /home/atguigu/banzhang.txt 
/home/atguigu

自定义函数

基本语法

//定义函数(function指函数名)
[ function ] funname[()]
{
	Action;//代码
	[return int;]
}
//点用函数
funname

shell工具

cut

说明:cut的工作就是“剪”，具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出

基本用法

​ cut[选项参数] filename

​ 说明：默认分隔符是制表符

选项参数说明

选项参数	功能
-f	列号，提取第几列
-d	分隔符，按照指定分隔符分割列
-c	指定具体的字符

举例：

//数据准备
[atguigu@hadoop101 datas]$ touch cut.txt
[atguigu@hadoop101 datas]$ vim cut.txt
dong shen
guan zhen
wo  wo
lai  lai
le  le

//切割cut.txt第一列
[atguigu@hadoop101 datas]$ cut -d " " -f 1 cut.txt 
dong
guan
wo
lai
le

//切割cut.txt第二、三列
[atguigu@hadoop101 datas]$ cut -d " " -f 2,3 cut.txt 
shen
zhen
wo
lai
le

//在cut.txt文件中切割出guan
[atguigu@hadoop101 datas]$ cat cut.txt | grep "guan" | cut -d " " -f 1
guan

//选取系统PATH变量值，第2个“：”开始后的所有路径：
[atguigu@hadoop101 datas]$ echo $PATH
/usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/atguigu/bin

[atguigu@hadoop102 datas]$ echo $PATH | cut -d: -f 2-
/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/atguigu/bin

//切割ifconfig 后打印的IP地址
[atguigu@hadoop101 datas]$ ifconfig eth0 | grep "inet addr" | cut -d: -f 2 | cut -d" " -f1
192.168.1.102

awk

说明：一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行分析处理

基本用法

awk [选项参数] ‘pattern1{action1}  pattern2{action2}...’ filename
pattern：表示AWK在数据中查找的内容，就是匹配模式
action：在找到匹配内容时所执行的一系列命令

选项参数说明

选项参数	功能
-F	指定输入文件折分隔符
-v	赋值一个用户定义变量

举例:

//数据准备
[atguigu@hadoop102 datas]$ sudo cp /etc/passwd ./

//搜索passwd文件以root关键字开头的所有行，并输出该行的第7列
[atguigu@hadoop102 datas]$ awk -F: '/^root/{print $7}' passwd 
/bin/bash

//搜索passwd文件以root关键字开头的所有行，并输出该行的第1列和第7列，中间以“，”号分割
[atguigu@hadoop102 datas]$ awk -F: '/^root/{print $1","$7}' passwd 
root,/bin/bash
//注意：只有匹配了pattern的行才会执行action

//只显示/etc/passwd的第一列和第七列，以逗号分割，且在所有行前面添加列名user，shell在最后一行添加"dahaige，/bin/zuishuai"
[atguigu@hadoop102 datas]$ awk -F : 'BEGIN{print "user, shell"} {print $1","$7} END{print "dahaige,/bin/zuishuai"}' passwd
user, shell
root,/bin/bash
bin,/sbin/nologin
。。。
atguigu,/bin/bash
dahaige,/bin/zuishuai
//注意：BEGIN 在所有数据读取行之前执行；END 在所有数据执行之后执行

//将passwd文件中的用户id增加数值1并输出
[atguigu@hadoop102 datas]$ awk -v i=1 -F: '{print $3+i}' passwd
1
2
3
4

awk的内置变量

变量	说明
FILENAME	文件名
NR	已读的记录数
NF	浏览记录的域的个数（切割后，列的个数）

举例：

//统计passwd文件名，每行的行号，每行的列数
[atguigu@hadoop102 datas]$ awk -F: '{print "filename:"  FILENAME ", linenumber:" NR  ",columns:" NF}' passwd 
filename:passwd, linenumber:1,columns:7
filename:passwd, linenumber:2,columns:7
filename:passwd, linenumber:3,columns:7

//切割IP
[atguigu@hadoop102 datas]$ ifconfig eth0 | grep "inet addr" | awk -F: '{print$2}' | awk -F " " '{print $1}' 
192.168.1.102 

//查询sed.txt中空行所在的行号
[atguigu@hadoop102 datas]$ awk '/^$/{print NR}' sed.txt 
5

sort

说明：sort命令是在Linux里非常有用，它将文件进行排序，并将排序结果标准输出

基本语法

sort(选项)(参数)

选项	说明
-n	依照数值的大小排序
-r	以相反的顺序来排序
-t	设置排序时所用的分隔字符
-k	指定需要排序的列

参数：指定待排序的文件列表

举例：

//数据准备
[atguigu@hadoop102 datas]$ touch sort.sh
[atguigu@hadoop102 datas]$ vim sort.sh 
bb:40:5.4
bd:20:4.2
xz:50:2.3
cls:10:3.5
ss:30:1.6

//按照“：”分割后的第三列倒序排序
[atguigu@hadoop102 datas]$ sort -t : -nrk 3  sort.sh 
bb:40:5.4
bd:20:4.2
cls:10:3.5
xz:50:2.3
ss:30:1.6

正则表达式