Echarts+Mongdb+Falsk疫情可视化大作业

这是大数据的期末大作业，最后的要求就是处理好数据然后可视化，虽然我感觉和大数据不是很搭的上关系，但还是得按要求来嘛，老师说可以用他给的数据集或者自己写爬虫，作为学习委员当然是自己搞个小爬虫玩玩，最后的实现效果

整个流程下来还是挺简单的，先是抓取腾讯疫情的公共接口，把数据处理好存数据库，然后起个flask服务传到前端，echarts可视化出来，大家肯定都会，这里就记录一下我遇到的坑吧。

爬虫：

爬虫方面是最简单的也是我反反复复改的最久的，因为写到后面我一直在想着怎么去优化他，可能这就是处女座吧。正题，我想要的效果是实时爬虫的效果，像实时新增的接口，肯定是要经常去更新数据的，但新增走势的接口，那就是一天一次，说到这我就烦的狠，用的window，穷屌丝又没钱卖服务器，我知道的用Linux的crontab执行定时任务就好像行不通，于是我就想着window也有定时任务，没错，他确实有，但是我用了就后悔了，因为我当时安装python解释器的时候应该没安装好，他的执行路径有问题，就导致我在代码编辑器中能运行，但用cmd去执行py文件就一直报bug，报bug怎么办，当然是死磕把他干掉，于是跟着网上的方法改着改哪的，结果问题没解决，还把我自己的环境搞乱了，最后感觉及时止损，把所有操作全部回滚，同时也重新寻找思路。原来python人家自带定时模块sched，还有定时框架APScheduler，flask也是用专门的定时任务模块，真是选择大于努力！下面放一些稍微关键点的代码段，那些从接口取数据的就没必要展示了。

 

 

Mongdb：

        数据库选的是mongdb，原因也很简单，就是以前没用过，这次刚好拿来练练，在封装数据库的时候还是没什么问题的，根据具体需求写curd罢了，但是！！！在写查询的时候，我没太注意python不像java，是没的重载功能的！！！这里当然可以直接换个函数名就搞定了，但我强迫症又上来了，给他造了轮子，就是这里让我重新看了看装饰器之类的基础知识， 下次把重载的问题也说说吧，总的来说还算顺利，没踩太多坑，下面看看具体实现吧

 

 

 

flask + echarts ：

        这一块感觉也没啥好说的了，flask也就写了写接口，echarts倒是给我搞麻了，就是前端在调试的时候，一定要去清缓存！！！！这真给我搞麻了，一直报错，改完还是错，我就一直以为是我自己的代码有问题，我真是恨不得把源码拿出来对比看哪里不对了，改的火气上来了直接关机去打球了，在又一次抱着这是最后一次调试的念头打开，结果他自己好了，查了查才知道tmd要清缓存。

总的来说这次作业写的还行，遇到这么多坑也是因为自己菜，怪不了别人，这只是我自己的一个思路，如果有小伙伴有更好的思路欢迎一起讨论，不对的地方也欢迎指正。