大数据技术之Shell学习笔记（常用）

大数据技术之Shell

Shell概述

Shell是一个命令行解释器，它接收应用程序/用户命令，然后调用操作系统内核。

Shell还是一个功能强大的编程语言，易编写，易调试，灵活性强。

Shell脚本入门

脚本格式

脚本以#!/bin/bash开头（指定解析器）

自定义变量

基本语法

定义变量：变量=值

撤销变量：unset 变量

声明静态变量：readonly 变量，注意：不能unset

变量定义规则

• 变量名称可以由字母、数字、下划线组成，但是不能以数字开头，环境变量名建议大写
• 等号两侧不能有空格
• 在bash中，变量默认类型都是字符串类型，无法直接进行数值运算
• 变量的值如果有空格，需要用双引号或单引号括起来。
• 可以吧变量提升为全局环境变量，可供其他Shell程序使用 export 变量名

特殊变量：$n

基本语法：

$n(功能描述：n为数字，$0代表该脚本名称，$1-$9代表第一到第九个参数，十以上的参数，十以上的参数需要用大括号包含，如${10})

特殊变量：$#

基本语法：

$# (功能描述：获取所有输入参数个数，常用于循环)

特殊变量：$\ast 、$@

基本语法：

$*（功能描述：这个变量代表命令行中所有的参数，$*把所有的参数看成一个整体）
$@（功能描述：这个变量也代表命令行种所有的参数，不过$@把每个参数区分对待）

特殊变量：$?

基本语法

$?（功能描述：最后一次执行的命令的返回状态。如果这个变量的值为0，证明上一个命令正确执行；如果这个变量的值为非0（具体是那个数，由命令自己来绝对），则证明上一个命令执行不正确了）

运算符

基本语法

• $((运算符))或$[运算式]

• expr +    -    \*    /   %  加，减 ，乘， 除 ， 取余
  

  注意：expr运算符间要有空格

条件判断

基本语法

[ condition ] （注意condition前后要有空格）

注意：条件非空即为true，[ atguigu ]返回true，[]返回false

常用判断条件

两个整数之间比较

=字符串比较

-lt 小于（less than）

-le 小于等于（less equal）

-eq 等于（equal）

-gt 大于（greater than）

-ge 大于等于（greater equal）

-ne 不等于 （Not equal）

按照文件权限进行判断

-r 有读的权限（read）

-w 有写的权限（write）

-x 有执行的权限（execute）

按照文件类型进行判断

-f文件存在并且是一个常规的文件

-e 文件存在（existence）

-d 文件存在 并是一个目录（directory）

多条判断（&&表示前一条命令执行成功时，才执行后一条命令，||表示上一条命令执行失败后，才执行下一条命令）

流程控制

if判断

if[ 条件判断式 ];then

​ 程序

fi

或者

if [ 条件判断式 ]

​ then

​ 程序

fi

注意事项：

（1）[ 条件判断式 ]，中括号和条件判断式之间必有空格

（2）if后要有空格

case语句

基本语法

case $变量名 in

“值 1”)

​ 如果变量的值等于值1，则执行程序1

;;

“值 2”）

​ 如果变量的值等于值2，则执行程序2

;;

*)

​ 如果变量的值都不是以上的值，则执行此程序

;;

esac

注意事项：

（1）case行尾必须为单词“in”,每一个模式匹配必须以右括号“）”结束。

（2）双分号“;;”表示命令序列结束，相当于java中 的break

（3）最后的“*）”表示默认模式，相当于java中的default

for循环

基本语法1

for((初始值；循环控制条件；变量变化))

do

​ 程序

done

基本语法2

for 变量 in 值1 值2 值3 ……

do

​ 程序

done

while循环

基本语法

while[ 条件判断式 ]

do

​ 程序

done

read读取控制台输入

基本语法

read（选项）（参数）

选项：

-p：指定读取值的提示符；

-t:指定读取值时等待的时间（秒）。

参数

​ 变量：指定读取值的变量名

函数

系统函数

basename基本语法

basename[string / pathname][suffix](功能描述：basename命令会删掉所有的前缀包括最后一个（‘/’）字符，然后将字符串显示出来)
suffix为后缀，如果suffix被指定了，basename会将pathname或string中的suffix去掉。

dirname基本语法

dirname文件绝对路径（功能描述：从给定的包含绝对路径的文件名中去除文件名（非目录的部分），然后返回剩下的路径（目录的部分））

自定义函数

基本语法

[ function ] funname[()]

{

​	Action;

​	[return int;]

}

funname

经验技巧

（1）必须在调用函数之前，先声明函数，shell脚本逐行运行。不会像其他语言一样先编译

（2）函数返回值，只能通过$?系统变量获得，可以显示加：return返回，如果不加，将以最后一条命令运行结果作为返回值，return返回数值n(0-255)

Shell工具（重点）

cut

cut的工作就是“剪”，具体的说就是在文件中负责剪切数据用的，cut命令从文件的每一行剪切字节、字符和字段并将这些字节额、字符和字段输出

基本用法：

cut [选项参数] filename

说明：默认分隔符是制表符

选项参数说明

选项参数	功能
-f	列号，提取第几列
-d	分隔符，按照指定分隔符分隔

sed

sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。

基本用法

sed [选项参数] ‘command’ filename

选项参数说明

选项参数	功能
-e	直接在指令列模式上进行sed的动作编辑

命令功能描述

命令	功能描述
a	新增，a后面可以接字符串，在下一行出现
d	删除
s	查找并替换

awk

一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分在进行分析处理

基本用法

awk[选项参数] ‘pattern1{action1} pattern2{action2}……’ filename

pattern:表示AWK在数据中查找的内容，就是匹配模式

action:在找到匹配内容是所执行的一系列命令

选项参数说明

选项参数	功能
-F	指定输入文件折分隔符
-v	赋值一个用户定义变量

注意：BEGIN在所有数据行之前执行；END在所有数据执行之后执行

AWK的内置变量

变量	说明
FILENAME	文件名
NR	已读的记录数
NF	浏览记录的域的个数（切割后，列的个数）

Sort

sort命令实在Linux里非常有用的，它将文件进行排序，并将排序结果标准输出。

基本语法

sort(选项)(参数)

选项	说明
-n	依照数值的大小排序
-r	以相反的顺序来排序
-t	设置排序所用的分隔字符
-k	指定需要排序的列