先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip204888 (备注大数据)
正文
一、awk工具介绍
1.功能强大的编辑工具
2.无交互的情况下实现复杂的文本操作
3.命令格式
(1)awk 选项 ‘模式或条件 { 编辑指令 }’ 文件1 文件2
(2)awk -f 脚本文件 文件1 文件2
格式:
awk [options] 'program' var=value file...
awk [options] -f programfile var=value file...
说明:
program通常是被放在单引号中,并可以由三种部分组成
BEGIN语句块
模式匹配的通用语句块
END语句块
pattern{action statements;..}
pattern: 决定动作语句何时触发及触发事件,比如: BEGIN, END,正则表达式等
action statements: 对数据进行处理,放在{}内指明,常见: print, printf
常见选项:
-F“ 分隔符”指明输入时用到的字段分隔符,默认的分隔符是若千个连续空白符
-v var=value变量赋值
awk [选项] '模式条件{操作}'文件1文件2....
awk -f|-v 脚本文件 文件1 文件2.....
二、awk工作原理
逐行读取文本,默认以空格为分隔符进行分隔,将分隔所得的各个字段保存到内建变量中,并按模式或者条件执行编辑命令。
awk 比较倾向于将一行分成多个“字段”然后再进行处理,且默认情况下字段的分隔符为空格或 tab 键。awk 执行结果可以通过 print 的功能将字段数据打印显示。
三、awk内置变量
FS:指定每行文本的字段分隔符,缺省为空格或制表符(tab)。与"-F"作用相同 -F -FS一起使用-F的优先级高
NF:当前处理的行的字段个数
NR:当前处理的行的行号(序数)
$0:当前处理的行的整行内容
$n:当前处理行的第n个字段(第n列)
FILENAME:被处理的文件名
RS:行分隔符。awk从文件上读取资料时,将根据RS的定义就把资料切割成许多条记录,而awk一次仅读入一条记录进行处理。预设值是\n
OFS 输出字段的分隔符,默认也是空格
ORS 输出分割符,默认也是换行符
FNR 读取文件的记录数(行号),从1开始,新的文件重新从1开始计数
四、自定义变量
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
4888 (备注大数据)**
[外链图片转存中…(img-jyTBctHv-1713323306745)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!