“日常研究”之 respage01： 使用redis获取并集、差集信息

初衷

为了更好地展示respage01的数据，我想获取当天数据与之前数据的差集，从而得到当天是否有店面减少或者增加，其次我想统计所有历史数据的总量。

使用redis的set计算功能并django接口化

以上的需求可以用的redis的原生命令便可轻松实现，但是我们还是想接口化，那还需要改造下我们的定时爬取脚本。将每天的计算结果同步的mysql。

更新redisToMysql.py

新增4个key用来储存计算结果：
* trainunion 存储截止到当天的所有数据的并集；
* trainuniontmp 存储除了当天之外的所有数据的并集；
* trainnew 用于存储当天新增的店面
* traingone 用于存储当天减少的店面

127.0.0.1:6379> KEYS *
 1) "trainunion"
 2) "trainuniontmp"
 3) "trainnew"
 4) "traingone"
复制代码

def getUnionData(re):
    """
    获得所有数据的并集并保存到trainunion中
    :param re:
    :return:
    """
    keyList = getKeyList(re)
    re.sunionstore(tool.getFileKey() + 'union', keyList)
    try:
        re.delete(tool.getFileKey() + 'unionmp')
    except Exception as e:
        pass
    finally:
        re.sunionstore(tool.getFileKey() + 'uniontmp', getKeyListExceptToday(re))


def getNewDiffData(re):
    """
    获取新增的数据
    :param re:
    :return:
    """
    today = time.strftime("%Y_%m_%d")
    if 'train_' + today in getKeyList(re):
        re.delete(tool.getFileKey() + 'new')
        re.sdiffstore(tool.getFileKey() + 'new', tool.getFileKey() + '_' + today, tool.getFileKey() + 'uniontmp')
    else:
        pass


def getGoneDiffData(re):
    """
    获取消失的数据
    :param re:
    :return:
    """
    today = time.strftime("%Y_%m_%d")
    if tool.getFileKey() + '_' + today in getKeyList(re):
        re.delete(tool.getFileKey() + 'gone')
        re.sdiffstore(tool.getFileKey() + 'gone', tool.getFileKey() + 'union', tool.getFileKey() + '_' + today)
    else:
        pass
复制代码

新增接口

按需求，新增三个接口： * 获取当天与之前所有数据的交集中新增的部分 * 获取当天与之前所有数据的交集中减少的部分 * 获取当天为止所有数据的并集

目前的状态是这样的：

基本成型后续优化

从爬取的数据上看，消失门店数波动很大，这个怀疑和爬取的误差有关，这个需要花时间去确认以及微调一下。从几天的数据上看，整体的波动很小，这可能可以起到一个监控的作用，当量级突变时可以做出一些投资决策。

roubo’s dashboard