![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
shell相关知识
暁洣
读奇书,做奇事,交奇友,做个奇女子
展开
-
Shell面试题总结
shell相关面试题。原创 2024-01-15 23:52:44 · 520 阅读 · 0 评论 -
shell脚本判断某一天是否是当月的最后一个周四
shell脚本判断某一天是否是当月的最后一个周四需求最近遇到了这样的一个需求,要求在每个月的最后一个周四加三天来执行一个固定的脚本,于是就因为判断最后一个周四用了很久,在此记录一下。实现的思路整体的思路如下:将当前的日期减去三天后,得到三天前的日期,判断得到的三天前的日期是否是该日期所在月的最后一个周四。具体的实现先创建一写变量以供后续的使用//表示三天前的日期所在的年:201...原创 2018-11-27 15:13:11 · 819 阅读 · 0 评论 -
通过shell解析xml文件
背景最近工作中遇到了这样的一个需求,某个系统a开发时用到的结构化数据存放在HDFS上的指定目录,因此需要将a系统的文件对该系统的用户授权。但是由于存放文件的目录是所有系统的结构化文件,不能将整个目录对a系统用户授权。因此只能将a系统的文件进行授权。此涉及到两个问题:不知道文件什么时候能上传到HDFS目录下系统使用到的文件是.dat格式,且不止一个,但是有xml就绪文件,该文件中记录了...原创 2018-12-29 17:10:22 · 5630 阅读 · 0 评论 -
Shell编程之AWK的使用
背景 AWK是一个优良的文本工具,是Linux环境下现有的功能最强大的数据处理引擎之一。AWK 提供了极其强大的功能:可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。他的创建者创建者已将它正式定义为“样式扫描和处理语言”。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。 语法格式 不管语法怎么复杂,其语法始终为:a...原创 2019-03-20 15:22:24 · 474 阅读 · 1 评论 -
HDFS上的文件压缩-巧妙利用shell的管道文件
背景最近遇到这样的一个需要,需要将生产HDFS环境的集群上10个系统的数据,近10个月月末的数据复制一份到测试环境的HDFS集群上。看起来很简单的需求,我是这么想的,将需要的文件列表作为配置文件,通过shell脚本,依次读取该配置文件,并get到堡垒机上,全部下载完成后,将该目录打包压缩,上传到SFTP上,在测试环境上登陆SFTP,下载后,上传到HDFS。半个小时后,脚本测试通过,提交后,遭...原创 2019-04-28 10:57:25 · 1638 阅读 · 0 评论