做了什么
Table of Contents
- 2020-06-05
- 2020-06-07
- 2020-06-08
- 2020-06-10
- 2020-06-13
- 2020-06-15
- 2020-06-16
- 2020-06-18
- 2020-06-19
- 2020-06-20
- 2020-06-22
- 2020-06-24
- 2020-06-28
- 2020-06-29
- 2020-06-30
- 2020-07-01
2020-06-05
- 前台html模板简陋完成
- 后台程序简要完成
- 需要训练后的数据给出相应的可视化图表
- 训练前的数据也看了,这玩意怎么可视化啊,脑阔痛
2020-06-07
- 有了爬虫同学爬下来的数据
- jieba对数据处理
- wordcloud生成词云
具体见代码注释及可视化文件夹下readme
2020-06-08
- 添加读取方法,自动对某目录下的文件进行读取
- 添加多种读取方式:csv、txt、excel等等
2020-06-10
- 增加search.py
- 增加了新的搜索路由和前台界面简陋如下
- 使用搜索功能后可以根据关键字生成词云,这期间需要进行爬取、数据处理,其中和爬虫的对接还没有搞
- 生成的词云为返回的代码,现在已经可以获取到产生的代码并插入到html
2020-06-13
- 修正了之前的词云显示问题
- 更新了词云代码
2020-06-15
- 更新了折线图显示代码
- 预测数据不全
- 渲染方式还可以更完善
2020-06-16
- 尝试把可视化代码模块化构想如下
1.调用其他人的接口——读取数据(各种数据库、文件等等等等)
2.纯代码——生成可视化代码,调用库函数
3.暴露一个接口——返回生成的可视化html代码字段 - 开始对以上构想进行实现,以此次疫情为例进行了可视化
此次可视化的代码上传到try目录下
具体结果展示如下:
2020-06-18
- 对之前的工作进行了梳理,形成新的实现思路,还是模块化的思想
中期总结内容见Medium-term-summary.md - 对各种方法进行进一步的封装
- 新增文件夹Visualization,该目录下存储模块化的具体代码
2020-06-19
- 新增目录dataPcs,主要功能为数据的处理
- 新增文件DbReader,直接对数据库数据进行读取
- 新增文件CsvReader,在一定时间内对特定目录下的csv文件进行读取一次
- 对数据的处理函数还没有想好
- 可视化生成图片代码还是停留在之前写好的模板,需要更多的数据格式参与
2020-06-20
- 新增目PicGenerate,用于存储图片代码生成文件
- 新增文件Line,用于生成所有的折线图
目前数据输入方式为csv读取,可以一次处理多个csv生成多条折线的折线图,测试只测试了1条的情况。区分多条曲线的方式为二维list中的一维list
添加了局部滑动栏,便于对一个月内局部变化进行可视化分析 - 对昨天的数据获取文件进行了修改
2020-06-22
- 对之前的词云模板进行了重构,方便调用
- 添加了数据处理函数,与词云进行对接
- 对之前的代码添加了测试
2020-06-24
- 新增可视化模板Bar。
- 修改前台页面代码,对前台网页的显示进行了部分修改,更改布局模式。
- 因为数据不齐的缘故依旧无法开展具体工作,比如爬虫爬取的数据目前商量使用elk进行存储,但是依旧没有存储完成,没有可调用的接口,读取不到全部的数据,可视化无法继续进行。
2020-06-28
- 对search页面进行了重构,增加了搜索页面
- 对html进行了修改,html的修改耗费了比较多的时间
2020-06-29
- 对数据库进行读写
- 可以根据数据库内储存的预测数据直接生成html图片文件
- 解决了词云生成读文件的问题
在读文件时,有数据编码格式的问题,因此专门写了一个方法对基本上所有文件读。 - 将之前生成词云多次的读写进一步浓缩,缩减为在一个方法内,对内存变量进行多次的独写和修改,进一步简化了代码结构同时加快了运行速度。
2020-06-30
- 添加demo展示页面
- 完善demo页面与后台的交互,可以保存用户的信息保证预测完成后通知
- 编写程序,自动发送邮件通知用户
2020-07-01
- 与写后台的同学积极沟通,完成可视化模块的安装和使用
- 进一步完善前台页面之间的逻辑,修改了几个bug和显示问题
- 对setting.py文件进行了修改,保证可以在云上运行
- 可视化模块和前台部署成功