mysql 自定义周_MySQL周期表管理太繁琐，通过Python自定义工具方法优雅解决

这是学习笔记的第2149篇文章

最近的数据库小问题还是零零散散会出现，通过这些零星的小问题可以发现很多潜在问题的端倪。 所以准备在一些技术储备方面要多投入一些，把这些基础打扎实。

比如对于按照时间维度的日表，我们在此成为周期表，对于它的管理看起来很简单，实际上会有很多潜在的问题，对此我会提供一些改进的思路。

比如日表test_data_20190101，它存储的是1月1日的数据，这种数据模型中的数据基本都是流水型/日志数据，所以数据不需要保留太长时间，在用到的时候够查就可以了，一般设置为1个月，那么test_data表在20190201的时候就删除20190101的数据了，这里就存在一系列的问题，核心思想就是：怎么保证这个过程是可控的。通常会出现很多方面的问题:

1)周期表没有生成，业务写入失败

2)过期周期表没有按时清理，磁盘空间报警

3)误删除周期表，导致数据无法回复

4)管理多个周期表，没有提醒的机制，导致人为跟进出错概率高

5)周期表创建了，可能权限没有刷新

6)周期表创建了，但是业务压根没有用到，数据量一直是0

7)周期表创建了，但是不连续，比如有的月份是31天，只创建了30天

当然还有很多，对此我的目标是把这些潜在的问题都解决掉，转换为一种闭环的操作。

所以看起来一个很简单的操作，在引入一个特定的场景后(目前维护的有60多张周期表，时间范围各不相同)，就会发现要处理的问题实在是太多了。

从功能设计上，有下面的一些小的功能需要完善和补充：

生成周期表的创建语句

检测失效的周期表

转置失效的周期表

删除失效的周期表

周期表阈值检测

数据是否存在的检测

周期表连续性检查

周期表可访问预检查

周期表自动创建

对于里面的一个功能，如何检测周期表是否连续，出发点是很好的，但是在实现的时候发现比想象的要复杂一些。

在今天的总结中，我的最大收获就是想明白，重视设计，写出来一二三，然后按照设计的思路，完成之后就会事半功倍。

简单的梳理，我发现时间管理方面有很多重复的功能，如果每次都去单独处理，其实还是挺繁琐的，索性写了一堆的工具方法。

N个小时后的时间

N个小时前的时间

今天前的第N天

今天后的第N天

今天以前的N天列表

今天以后的N天列表

指定时间范围的时间列表

判断日期是否在日期范围之内

两个日期列表相同的日期

两个日期列表差异的日期

相关的部分代码如下：

# 得到几个小时前的时间

def beforeHours2Date(hours, date_format='%Y-%m-%d %H:%M:%S'):

hours = int(hours)

t = time.time - hours*60*60

t = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(t))

return t

# 得到几个小时后的时间

def afterHours2Date(hours, date_format='%Y-%m-%d %H:%M:%S'):

hours = int(hours)

t = time.time + hours*60*60

t = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(t))

return t

# 得到几天前的日期

def beforeDays2Date(days, date_format='%Y-%m-%d %H:%M:%S'):

days = int(days)

t = time.time - days*60*60*24

t = time.strftime('%Y-%m-%d', time.localtime(t))

return t

# 得到几天后的日期

def afterDays2Date(days, date_format='%Y-%m-%d %H:%M:%S'):

days = int(days)

t = time.time + days*60*60*24

t = time.strftime('%Y-%m-%d', time.localtime(t))

return t

#得到几天前到今天的日期列表

def beforeDays2Datelist(n):

before_n_days =

for i in range(1, n + 1)[::-1]:

before_n_days.append(str(datetime.date.today - datetime.timedelta(days=i)))

return before_n_days

# 得到今天到几天后的日期列表

def afterDays2Datelist(n):

before_n_days =

for i in range(1, n + 1)[::-1]:

before_n_days.append(str(datetime.date.today + datetime.timedelta(days=i) ))

return before_n_days

# 根据起始和截止日期得到日期列表

def get_datelist_by_start_end(datestart,dateend):

data_list_arr =

datestart = str_to_date_day(datestart)

dateend = str_to_date_day(dateend)

data_list_arr.append(date_day_to_str(datestart))

while datestart < dateend:

datestart += datetime.timedelta(days=1)

next_day = datestart.strftime('%Y-%m-%d')

data_list_arr.append(next_day)

return data_list_arr

# 转换字符串为时间

def str_to_date_time(time_str):

return datetime.datetime.strptime(time_str, '%Y-%m-%d %H:%M:%S')

# 转换时间为字符串

def date_time_to_str(time1):

return time1.strftime("%Y-%m-%d %H:%M:%S")

# 转换字符串为日期

def str_to_date_day(time_str):

return datetime.datetime.strptime(time_str, '%Y-%m-%d')

# 转换日期为字符串

def date_day_to_str(time1):

return time1.strftime("%Y-%m-%d")

# 判断日期是否在指定的列表中

def date_in_range(date_str,start_date,end_date):

return date_str in get_datelist_by_start_end(start_date,end_date)

# 得到指定时间范围内不连续的日期

def discontinuous_date_in_list(start_date,end_date,date_list):

defined_list = get_datelist_by_start_end(start_date, end_date)

return list(set(defined_list).difference(set(date_list)))

比如我的一个需求，得到不连续的日期，调用函数discontinuous_date_in_list，输入参数为起始日期，结束日期，然后提供一个时间列表进行比对。

print discontinuous_date_in_list('2019-10-21','2019-11-01',['2019-10-21','2019-10-23'])

输出为：

['2019-10-22', '2019-10-27', '2019-10-26', '2019-10-25', '2019-10-24', '2019-10-29', '2019-10-28', '2019-10-30', '2019-10-31', '2019-11-01']

可以看到很简短的代码就实现了一些繁琐的逻辑调用，而在后续的功能开发中，时间部分的处理也能高效很多。

简单一句话：不要轻视设计，然后像拼装乐高一样完成逻辑集成。