项目总工作流程日志

做了什么

Table of Contents


2020-06-05

  • 前台html模板简陋完成
  • 后台程序简要完成
  • 需要训练后的数据给出相应的可视化图表
  • 训练前的数据也看了,这玩意怎么可视化啊,脑阔痛

2020-06-07

  • 有了爬虫同学爬下来的数据
  • jieba对数据处理
  • wordcloud生成词云
    具体见代码注释及可视化文件夹下readme

2020-06-08

  • 添加读取方法,自动对某目录下的文件进行读取
  • 添加多种读取方式:csv、txt、excel等等

2020-06-10

  • 增加search.py
  • 增加了新的搜索路由和前台界面简陋如下
    在这里插入图片描述
  • 使用搜索功能后可以根据关键字生成词云,这期间需要进行爬取、数据处理,其中和爬虫的对接还没有搞
  • 生成的词云为返回的代码,现在已经可以获取到产生的代码并插入到html

2020-06-13

  • 修正了之前的词云显示问题
  • 更新了词云代码

2020-06-15

  • 更新了折线图显示代码
  • 预测数据不全
  • 渲染方式还可以更完善

2020-06-16

  • 尝试把可视化代码模块化构想如下
    1.调用其他人的接口——读取数据(各种数据库、文件等等等等)
    2.纯代码——生成可视化代码,调用库函数
    3.暴露一个接口——返回生成的可视化html代码字段
  • 开始对以上构想进行实现,以此次疫情为例进行了可视化
    此次可视化的代码上传到try目录下
    具体结果展示如下:

2020-06-18

  • 对之前的工作进行了梳理,形成新的实现思路,还是模块化的思想
    中期总结内容见Medium-term-summary.md
  • 对各种方法进行进一步的封装
  • 新增文件夹Visualization,该目录下存储模块化的具体代码

2020-06-19

  • 新增目录dataPcs,主要功能为数据的处理
  • 新增文件DbReader,直接对数据库数据进行读取
  • 新增文件CsvReader,在一定时间内对特定目录下的csv文件进行读取一次
  • 对数据的处理函数还没有想好
  • 可视化生成图片代码还是停留在之前写好的模板,需要更多的数据格式参与

2020-06-20

  • 新增目PicGenerate,用于存储图片代码生成文件
  • 新增文件Line,用于生成所有的折线图
    目前数据输入方式为csv读取,可以一次处理多个csv生成多条折线的折线图,测试只测试了1条的情况。区分多条曲线的方式为二维list中的一维list
    添加了局部滑动栏,便于对一个月内局部变化进行可视化分析
  • 对昨天的数据获取文件进行了修改

2020-06-22

  • 对之前的词云模板进行了重构,方便调用
  • 添加了数据处理函数,与词云进行对接
  • 对之前的代码添加了测试

2020-06-24

  • 新增可视化模板Bar。
  • 修改前台页面代码,对前台网页的显示进行了部分修改,更改布局模式。
  • 因为数据不齐的缘故依旧无法开展具体工作,比如爬虫爬取的数据目前商量使用elk进行存储,但是依旧没有存储完成,没有可调用的接口,读取不到全部的数据,可视化无法继续进行。

2020-06-28

  • 对search页面进行了重构,增加了搜索页面
  • 对html进行了修改,html的修改耗费了比较多的时间

2020-06-29

  • 对数据库进行读写
  • 可以根据数据库内储存的预测数据直接生成html图片文件
  • 解决了词云生成读文件的问题
    在读文件时,有数据编码格式的问题,因此专门写了一个方法对基本上所有文件读。
  • 将之前生成词云多次的读写进一步浓缩,缩减为在一个方法内,对内存变量进行多次的独写和修改,进一步简化了代码结构同时加快了运行速度。

2020-06-30

  • 添加demo展示页面
  • 完善demo页面与后台的交互,可以保存用户的信息保证预测完成后通知
  • 编写程序,自动发送邮件通知用户

2020-07-01

  • 与写后台的同学积极沟通,完成可视化模块的安装和使用
  • 进一步完善前台页面之间的逻辑,修改了几个bug和显示问题
  • 对setting.py文件进行了修改,保证可以在云上运行
  • 可视化模块和前台部署成功
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值