pvuv统计设计

一、背景

在考拉先生公司做的第一个项目是进行统计pvuv。通过一定的规则提取nginx日志文件来进行统计。

二、第一个版本

一开始做的是统计唯品会的pvuv统计，观察流量。主要设计图如下：

很简单，将每天唯品会的广告的pvuv统计好，然后写进excel。然后邮件定时发送给需求人员。

三、第二个版本

统计完唯品会之后，接到新的需求是统计小程序的pvuv。不废话，上流程图。

跟第一个版本不同的是，所有的统计数据会先插入数据库。然后另一个脚本读取数据库数据写进excel发送邮件。

为什么要写进数据库。需求需要，需求要求要时间段的统计，比如一个月或者一周的统计，为了方便操作，所以使用

数据库操作。另一方面是，以后可能会做成一个系统，所以入库。

四、第三个版本

做完小程序的pvuv后，又来了新的pvuv统计需求。这时，上头提出了一个新的方案。

因为当时的做法是，每次来一个新的pvuv统计，都要编写python脚本。现在改成将日志的元数据录入到mongodb里面。

然后配置规则，python脚本进行统计。然后交给业务。这样，假如后面有pvuv或者其他关于日志的处理，直接更改

查询规则就可以了，而不用从新开发。

这次，学习到是是：想问题的时候，一定是从大的方面思考，而不是基于目前的业务。思维角度要开阔。

https://blog.csdn.net/kelindame/article/details/73072603