大数据技术之shell

第1章 Shell概述

• 大数据程序员为什么要学习Shell呢？
• 1）需要看懂运维人员编写的Shell程序。
• 2）偶尔会编写一些简单Shell程序来管理集群、提高开发效率。
  

第2章 Shell解析器

• （1）Linux提供的Shell解析器有
  
• （2）bash和sh的关系
  
• （3）Centos默认的解析器是bash
  

第3章 Shell脚本入门

• 1．脚本格式

• 脚本以#!/bin/bash开头（指定解析器）

• 2．第一个Shell脚本：helloworld

• 需求：创建一个Shell脚本，输出helloworld

• 创建一个datas文件夹，用来存放后续的脚本
  

• 创建一个helloworld脚本
  

• 输入脚本内容（i：进行编辑；esc：取消编辑；wq：退出）
  
  

• 脚本常用执行方式

• 采用bash或sh+脚本的相对路径或绝对路径（不用赋予脚本+x权限）
  

• 采用输入脚本的绝对路径或相对路径执行脚本（必须具有可执行权限+x）
  

• 注意：第一种执行方法，本质是bash解析器帮你执行脚本，所以脚本本身不需要执行权限。

• 第二种执行方法，本质是脚本需要自己执行，所以需要执行权限。

• 3．第二个Shell脚本：多命令处理

• （1）需求：

• 在/home/atguigu/目录下创建一个banzhang.txt,在banzhang.txt文件中增加“I love cls”。

• （2）案例实操：

• 创建batch.sh文件
  

• 添加代码
  

• 执行后发现在家目录下多了一个banzhang.txt文件
  

第4章 Shell中的变量

4.1 系统变量

• 1.常用系统变量
• $HOME、$PWD、$SHELL、$USER等
• 2．案例实操
• （1）查看系统变量的值
  
• （2）显示当前Shell中所有变量：set

4.2 自定义变量

• 1．基本语法

• （1）定义变量：变量=值

• （2）撤销变量：unset 变量

• （3）声明静态变量：readonly变量，注意：不能unset

• 2．变量定义规则

• （1）变量名称可以由字母、数字和下划线组成，但是不能以数字开头，环境变量名建议大写。

• （2）等号两侧不能有空格

• （3）在bash中，变量默认类型都是字符串类型，无法直接进行数值运算。

• （4）变量的值如果有空格，需要使用双引号或单引号括起来。

• 3．案例实操

• （1）定义变量A
  

• （2）给变量A重新赋值
  

• （3）撤销变量A
  

• （4）声明静态的变量B=2，不能unset
  
  

• （5）在bash中，变量默认类型都是字符串类型，无法直接进行数值运算
  

• （6）变量的值如果有空格，需要使用双引号或单引号括起来
  

• （7）可把变量提升为全局环境变量，可供其他Shell程序使用
  
  
  

4.3 特殊变量：$n

• 1．基本语法
• $n （功能描述：n为数字，$0代表该脚本名称，$1-$9代表第一到第九个参数，十以上的参数，十以上的参数需要用大括号包含，如${10}）
• 2．案例实操
• （1）输出该脚本文件名称、输入参数1和输入参数2 的值
  
  
  

4.4 特殊变量：$#

• 1．基本语法
• $# （功能描述：获取所有输入参数个数，常用于循环）。
• 2．案例实操
• （1）获取输入参数的个数
  
  
  

4.5 特殊变量：*、@

• 1．基本语法
• $\ast （功能描述：这个变量代表命令行中所有的参数，$*把所有的参数看成一个整体）
• $@（功能描述：这个变量也代表命令行中所有的参数，不过$@把每个参数区分对待）
• 2．案例实操
• （1）打印输入的所有参数
  
  

4.6 特殊变量：$？

• 1．基本语法
• $？ （功能描述：最后一次执行的命令的返回状态。如果这个变量的值为0，证明上一个命令正确执行；如果这个变量的值为非0（具体是哪个数，由命令自己来决定），则证明上一个命令执行不正确了。）
• 2．案例实操
• （1）判断helloworld.sh脚本是否正确执行
  

第5章 运算符

• 1．基本语法

• （1）“$((运算式))”或“$[运算式]”

• （2）expr + , - , *, /, % 加，减，乘，除，取余

• 注意：expr运算符间要有空格

• 2．案例实操：

• （1）计算3+2的值
  

• （2）计算3-2的值
  

• （3）计算（2+3）X4的值

• （a）expr一步完成计算
  

• （b）采用$[运算式]方式
  

第6章 条件判断

• 1．基本语法

• [ condition ]（注意condition前后要有空格）

• 注意：条件非空即为true，[ atguigu ]返回true，[] 返回false。

• 2. 常用判断条件

• （1）两个整数之间比较

• = 字符串比较

• -lt 小于（less than） -le小于等于（less equal）

• -eq 等于（equal） -gt 大于（greater than）

• -ge 大于等于（greater equal） -ne 不等于（Not equal）

• （2）按照文件权限进行判断

• -r 有读的权限（read） -w 有写的权限（write）

• -x 有执行的权限（execute）

• （3）按照文件类型进行判断

• -f 文件存在并且是一个常规的文件（file）

• -e 文件存在（existence）

• -d 文件存在并是一个目录（directory）

• 3．案例实操

• （1）23是否大于等于22
  
  

• （2）helloworld.sh是否具有写权限
  

• （3）/home/atguigu/cls.txt目录中的文件是否存在
  

• （4）多条件判断（&& 表示前一条命令执行成功时，才执行后一条命令，|| 表示上一条命令执行失败后，才执行下一条命令）
  

第7章 流程控制（重点）

7.1 if 判断

• 1．基本语法
  • 注意事项：
  • （1）[ 条件判断式 ]，中括号和条件判断式之间必须有空格
  • （2）if后要有空格
    
• 2．案例实操
  • （1）输入一个数字，如果是1，则输出banzhangzhen shuai，如果是2，则输出cls zhen mei，如果是其它，什么也不输出。
    
    
    
    

7.2 case 语句

• 1．基本语法

  • 注意事项：
  • 1)case行尾必须为单词“in”，每一个模式匹配必须以右括号“）”结束。
  • 2)双分号“;;”表示命令序列结束，相当于java中的break。
  • 3)最后的“*）”表示默认模式，相当于java中的default。
    

• 2．案例实操

  • （1）输入一个数字，如果是1，则输出banzhang，如果是2，则输出cls，如果是其它，输出renyao。
    
    
    
    

7.3 for 循环

• 1．基本语法
  

• 2．案例实操

  • （1）从1加到100
    
    
    

• 3．基本语法2
  

• 4．案例实操

  • （1）打印所有输入参数
    
    
    

7.4 while 循环

• 1．基本语法
  

• 2．案例实操

  • （1）从1加到100
    
    
    

第8章 read读取控制台输入

• 1．基本语法
  • 选项：
  • -p：指定读取值时的提示符；
  • -t：指定读取值时等待的时间（秒）。
  • 参数
  • 变量：指定读取值的变量名
    
• 2．案例实操
  • （1）提示7秒内，读取控制台输入的名称
    
    
    
    

第9章 函数

9.1 系统函数

• 1．basename基本语法
• 功能描述：basename命令会删掉所有的前缀包括最后一个（‘/’）字符，然后将字符串显示出来。
• 选项：suffix为后缀，如果suffix被指定了，basename会将pathname或string中的suffix去掉。
  
• 2．案例实操
  • （1）截取该/home/atguigu/banzhang.txt路径的文件名称
    
• 3.dirname基本语法
  • 功能描述：从给定的包含绝对路径的文件名中去除文件名（非目录的部分），然后返回剩下的路径（目录的部分）
    
• 4．案例实操
  • （1）获取banzhang.txt文件的路径
    

9.2 自定义函数

• 1．基本语法
  
• 2．经验技巧
• （1）必须在调用函数地方之前，先声明函数，shell脚本是逐行运行。不会像其它语言一样先编译。
• （2）函数返回值，只能通过$?系统变量获得，可以显示加：return返回，如果不加，将以最后一条命令运行结果，作为返回值。return后跟数值n(0-255)
• 3．案例实操
• （1）计算两个输入参数的和
  
  

第10章 Shell工具（重点）

10.1 cut

• cut的工作就是“剪”，具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。

• 1.基本用法

• 说明：默认分隔符是制表符
  

• 2.选项参数说明
  

• 3.案例实操

  • （0）数据准备
    
    

  • （1）切割cut.txt第一列
    

  • （2）切割cut.txt第二、三列
    

  • （3）在cut.txt文件中切割出guan
    

  • （4）选取系统PATH变量值，第2个“：”开始后的所有路径
    

  • （5）切割ifconfig 后打印的IP地址

10.2 sed

• sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。
• 1.基本用法
• 2.选项参数说明
• 3.命令功能描述
• 4.案例实操

  • （0）数据准备
    
    

  • （1）将“mei nv”这个单词插入到sed.txt第二行下，打印。

  • 注意：文件并没有改变
    

  • （2）删除sed.txt文件所有包含wo的行
    

  • （3）将sed.txt文件中wo替换为ni

  • 注意：‘g’表示global，全部替换
    

  • （4）将sed.txt文件中的第二行删除并将wo替换为ni
    

10.3 awk

• 一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行分析处理。
• 1.基本用法
  
• 2.选项参数说明
• pattern：表示AWK在数据中查找的内容，就是匹配模式
• action：在找到匹配内容时所执行的一系列命令
• 3.案例实操
  • （0）数据准备
    
  • （1）搜索passwd文件以root关键字开头的所有行，并输出该行的第7列。
  • （2）搜索passwd文件以root关键字开头的所有行，并输出该行的第1列和第7列，中间以“，”号分割。
  • 注意：只有匹配了pattern的行才会执行action
  • （3）只显示/etc/passwd的第一列和第七列，以逗号分割，且在所有行前面添加列名user，shell在最后一行添加"dahaige，/bin/zuishuai"。
  • 注意：BEGIN 在所有数据读取行之前执行；END 在所有数据执行之后执行。
  • （4）将passwd文件中的用户id增加数值1并输出
• 4.awk的内置变量
• 5.案例实操
  • （1）统计passwd文件名，每行的行号，每行的列数
  • （2）切割IP
  • （3）查询sed.txt中空行所在的行号

10.4 sort

• sort命令是在Linux里非常有用，它将文件进行排序，并将排序结果标准输出。

• 基本语法

  • sort(选项)(参数)
    
  • 参数：指定待排序的文件列表
    

• 2.案例实操

  • （0）数据准备
  • （1）按照“：”分割后的第三列倒序排序。