数仓ETL(shell+sql)按天、周、月、季度汇总统计代码开发模板

目录

0 前言

1 shell中date用法小结

1.1基本语法

1.2 date 显示当前时间

1.3 date 显示非当前时间

2 按天统计

3 按周统计

4 按月统计

5 按季度统计

6 小结

---

---

0 前言

数仓ETL统计的时候，我们往往需要对数据进行按天、周、月、季度等几个时间维度进行批量统计。一般的开发模式都为shell中套sql的形式，这样我们可以根据定时任务跑shell脚本，同时利用shell编写一些函数来代替SQL中的存储过程。本文中的天、周、月、季度的时间维度，也是利用shell中的时间函数进行计算，这样降低了sql开发的难度，代码可维护性更高。

shell中时间的获取常常采用date -d 或date --date来获取

1 shell中date用法小结

1.1基本语法

1）基本语法

date [OPTION]... [+FORMAT]

2）选项说明

表1-20

选项	功能
-d<时间字符串>	显示指定的“时间字符串”表示的时间，而非当前时间
-s<日期时间>	设置系统日期时间

3）参数说明

表1-21

参数	功能
<+日期时间格式>	指定显示时使用的日期时间格式

1.2 date 显示当前时间

1）基本语法