一、背景
在考拉先生公司做的第一个项目是进行统计pvuv。通过一定的规则提取nginx日志文件来进行统计。
二、第一个版本
一开始做的是统计唯品会的pvuv统计,观察流量。主要设计图如下:
![](https://i-blog.csdnimg.cn/blog_migrate/75dbceac80b2303504b1acba33a523ad.png)
很简单,将每天唯品会的广告的pvuv统计好,然后写进excel。然后邮件定时发送给需求人员。
三、第二个版本
统计完唯品会之后,接到新的需求是统计小程序的pvuv。不废话,上流程图。
![](https://i-blog.csdnimg.cn/blog_migrate/290c9264d9ad6e69b109a1bd154f5599.png)
跟第一个版本不同的是,所有的统计数据会先插入数据库。然后另一个脚本读取数据库数据写进excel发送邮件。
为什么要写进数据库。需求需要,需求要求要时间段的统计,比如一个月或者一周的统计,为了方便操作,所以使用
数据库操作。另一方面是,以后可能会做成一个系统,所以入库。
四、第三个版本
做完小程序的pvuv后,又来了新的pvuv统计需求。这时,上头提出了一个新的方案。
![](https://i-blog.csdnimg.cn/blog_migrate/933e206be76ff8f18d5efa3953c3092a.png)
因为当时的做法是,每次来一个新的pvuv统计,都要编写python脚本。现在改成将日志的元数据录入到mongodb里面。
然后配置规则,python脚本进行统计。然后交给业务。这样,假如后面有pvuv或者其他关于日志的处理,直接更改
查询规则就可以了,而不用从新开发。
这次,学习到是是:想问题的时候,一定是从大的方面思考,而不是基于目前的业务。思维角度要开阔。
https://blog.csdn.net/kelindame/article/details/73072603