2024年大数据技术之Shell学习笔记（常用），这原因我服了

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

注意事项：

（1）[ 条件判断式 ]，中括号和条件判断式之间必有空格

（2）if后要有空格

case语句

基本语法

case $变量名 in

“值 1”)

​ 如果变量的值等于值1，则执行程序1

;;

“值 2”）

​ 如果变量的值等于值2，则执行程序2

;;

*)

​ 如果变量的值都不是以上的值，则执行此程序

;;

esac

注意事项：

（1）case行尾必须为单词“in”,每一个模式匹配必须以右括号“）”结束。

（2）双分号“;;”表示命令序列结束，相当于java中 的break

（3）最后的“*）”表示默认模式，相当于java中的default

for循环

基本语法1

for((初始值；循环控制条件；变量变化))

do

​ 程序

done

基本语法2

for 变量 in 值1 值2 值3 ……

do

​ 程序

done

while循环

---

基本语法

while[ 条件判断式 ]

do

​ 程序

done

read读取控制台输入

---

基本语法

read（选项）（参数）

选项：

-p：指定读取值的提示符；

-t:指定读取值时等待的时间（秒）。

参数

​ 变量：指定读取值的变量名

函数

---

系统函数

basename基本语法

basename[string / pathname]suffix

suffix为后缀，如果suffix被指定了，basename会将pathname或string中的suffix去掉。

dirname基本语法

dirname文件绝对路径（功能描述：从给定的包含绝对路径的文件名中去除文件名（非目录的部分），然后返回剩下的路径（目录的部分））

自定义函数

---

基本语法

[ function ] funname[()]

{

​ Action;

​ [return int;]

}

funname

经验技巧

（1）必须在调用函数之前，先声明函数，shell脚本逐行运行。不会像其他语言一样先编译

（2）函数返回值，只能通过$?系统变量获得，可以显示加：return返回，如果不加，将以最后一条命令运行结果作为返回值，return返回数值n(0-255)

Shell工具（重点）

---

cut

cut的工作就是“剪”，具体的说就是在文件中负责剪切数据用的，cut命令从文件的每一行剪切字节、字符和字段并将这些字节额、字符和字段输出

基本用法：

cut [选项参数] filename

说明：默认分隔符是制表符

选项参数说明

| 选项参数 | 功能 |

| — | — |

| -f | 列号，提取第几列 |

| -d | 分隔符，按照指定分隔符分隔 |

sed

sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。

基本用法

sed [选项参数] ‘command’ filename

选项参数说明

| 选项参数 | 功能 |

| — | — |

| -e | 直接在指令列模式上进行sed的动作编辑 |

| | |

命令功能描述

| 命令 | 功能描述 |

| — | — |

| a | 新增，a后面可以接字符串，在下一行出现 |

| d | 删除 |

| s | 查找并替换 |

awk

一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分在进行分析处理

基本用法

awk[选项参数] ‘pattern1{action1} pattern2{action2}……’ filename

pattern:表示AWK在数据中查找的内容，就是匹配模式

action:在找到匹配内容是所执行的一系列命令

选项参数说明

| 选项参数 | 功能 |

| — | — |

| -F | 指定输入文件折分隔符 |

| -v | 赋值一个用户定义变量 |

注意：BEGIN在所有数据行之前执行；END在所有数据执行之后执行

AWK的内置变量

| 变量 | 说明 |

| — | — |

| FILENAME | 文件名 |

| NR | 已读的记录数 |

| NF | 浏览记录的域的个数（切割后，列的个数） |

Sort

---

sort命令实在Linux里非常有用的，它将文件进行排序，并将排序结果标准输出。

基本语法

sort(选项)(参数)

| 选项 | 说明 |

| — | — |
| -n | 依照数值的大小排序 |
| -r | 以相反的顺序来排序 |
| -t | 设置排序所用的分隔字符 |
| -k | 指定需要排序的列 |

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

– | — |
| -n | 依照数值的大小排序 |
| -r | 以相反的顺序来排序 |
| -t | 设置排序所用的分隔字符 |
| -k | 指定需要排序的列 |

[外链图片转存中…(img-FcFX5Qky-1715238640365)]
[外链图片转存中…(img-WUCDgwho-1715238640366)]
[外链图片转存中…(img-u7je2JJF-1715238640366)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取