- 博客(20)
- 收藏
- 关注
RSS订阅原创 项目总工作流程日志
做了什么Table of Contents2020-06-052020-06-072020-06-082020-06-102020-06-132020-06-152020-06-162020-06-182020-06-192020-06-202020-06-222020-06-242020-06-282020-06-292020-06-302020-07-012020-06-05前台html模板简陋完成后台程序简要完成需要训练后的数据给出相应的可视化图表训
2020-07-01 20:46:53
318
原创 7-1日工作记录
2020-07-01与写后台的同学积极沟通，完成可视化模块的安装和使用进一步完善前台页面之间的逻辑，修改了几个bug和显示问题对setting.py文件进行了修改，保证可以在云上运行可视化模块和前台部署成功...
2020-07-01 20:41:53
122
原创 6-30工作记录
2020-06-30添加demo展示页面完善demo页面与后台的交互，可以保存用户的信息保证预测完成后通知编写程序，自动发送邮件通知用户页面截图
2020-07-01 20:41:25
131
原创 可视化模块调用方法
可视化模块目录：Visualization配置方法将目录放在项目根目录下app.py导入from Visualization.picGenerate.picture import *生成图片方法接口demo,key为关键字 key = 'key' m1 = weibo_m_emo(key) m2 = weibo_predict(key) m7 = weibo_bodong(key) c = wordcloud(key) kkk = weib
2020-07-01 20:31:59
268
原创 6-29创新实训工作记录2
主要工作内容解决了词云生成读文件的问题在读文件时，有数据编码格式的问题，因此专门写了一个方法对基本上所有文件读。将之前生成词云多次的读写进一步浓缩，缩减为在一个方法内，对内存变量进行多次的独写和修改，进一步简化了代码结构同时加快了运行速度。核心代码如下：# name为文件名称， key为关键字def dataForWordCloud(name, key = ''): inputs = readTxt(name) jieba.analyse.set_stop_words(Fil
2020-06-29 22:26:34
128
原创 6-29创新实训工作内容
主要工作对数据库进行读写可以根据数据库内储存的预测数据直接生成html图片文件更新文件dataPridic.py\linetest.py，对上面的工作做了具体的实现和测试，确保能够正常运行。主要代码如下def testmysql(): name = 'emotion_val' data = dataForPridic(name, name) y = [] x = [] y.append(data) for i in range(30):
2020-06-29 11:39:03
137
原创 6-16号项目更新
具体工作内容尝试把可视化代码模块化构想如下1.调用其他人的接口——读取数据（各种数据库、文件等等等等）2.纯代码——生成可视化代码，调用库函数3.暴露一个接口——返回生成的可视化html代码字段开始对以上构想进行实现，以此次疫情为例进行了可视化此次可视化的代码上传到try目录下具体结果展示如下：界面使用bootstrap架构，可以跨平台显示...
2020-06-28 22:21:02
160
原创 6-28日工作记录
2020-06-28对search页面进行了重构，增加了搜索页面对html进行了修改，html的修改耗费了比较多的时间最终效果
2020-06-28 22:20:25
104
原创 6-24创新实训工作记录
2020-06-24新增可视化模板Bar。修改前台页面代码，对前台网页的显示进行了部分修改，更改布局模式。因为数据不齐的缘故依旧无法开展具体工作，比如爬虫爬取的数据目前商量使用elk进行存储，但是依旧没有存储完成，没有可调用的接口，读取不到全部的数据，可视化无法继续进行。...
2020-06-24 20:27:45
130
原创 6-22创新设计工作记录
2020-06-22对之前的词云模板进行了重构，方便调用添加了数据处理函数，与词云进行对接对之前的代码添加了测试具体新增代码# keywords = [( , ), ……, ( , )]# name 为输入的名字def getWordCloud(keywords, name, T = 0): WC = ( WordCloud(init_opts=opts.InitOpts(theme=ThemeType.INFOGRAPHIC)) .add(
2020-06-22 22:23:08
119
原创 6-20创新设计工作记录
2020-06-19新增目PicGenerate，用于存储图片代码生成文件新增文件Line，用于生成所有的折线图目前数据输入方式为csv读取，可以一次处理多个csv生成多条折线的折线图，测试只测试了1条的情况。区分多条曲线的方式为二维list中的一维list添加了局部滑动栏，便于对一个月内局部变化进行可视化分析对昨天的数据获取文件进行了修改核心代码 for i in range(len(dataY)): chinaLine.add_yaxis('{}月情感变化'
2020-06-20 16:01:06
143
原创 6-19创新设计工作记录
2020-06-19新增目录dataPcs，主要功能为数据的处理新增文件DbReader，直接对数据库数据进行读取新增文件CsvReader，在一定时间内对特定目录下的csv文件进行读取一次对数据的处理函数还没有想好可视化生成图片代码还是停留在之前写好的模板，需要更多的数据格式参与...
2020-06-19 22:30:43
152
原创 6-18创新设计工作记录
工作记录最近主要对目前项目的进度做了总结：爬虫raw数据可视化思路1.词云展示2.发展过程梳理，展示方式包括河流图、表格等等3.事件之中的逻辑关系，展示方式考虑脑图等等情感分析数据可视化思路1.通过折现图展示事物发展过程中的变化2.寻找波动点并解释原因预测结果可视化思路折线图形式进行预测其他可视化1.排名可视化2.不同平台热度、关注点可视化具体实现思路与一周前相比，目前已经可以获取到大致的数据类型和字段的信息，对于可视化的步骤更加清晰。通过将可视化任务的代码模块化方便协作
2020-06-18 21:25:04
126
原创 6-15日工作记录
6-25日主要工作添加可视化模板：折线图、柱状图数据待获取，同学还没有处理完模板还可以渲染的更好看可视化模板具体实现代码如下# -*- coding: utf-8 -*-# @Time : 2020/6/15 9:00# @Author : 尹成林# @Site : https://me.csdn.net/sdyinruichao# @File : read_file.py# @Software: PyCharmtestdata = [[0.3590667
2020-06-15 21:39:56
117
原创 6-13日，修改了几个bug
主要工作上一次的词云生成是有点问题的，不能对已生成的直接调用，因此进行了更新添加了一个判断，判断相关数据有没有被生成过，如果生成过了就不会再对文档进行处理生成词云时的问题，生成的图片保存的问题得到了处理具体修改参见项目地址的commit记https://github.com/Lee991211/Innovation_training下一步的计划最近其他课程课设有点多，对于项目投入时间减少负责数据爬取的同学已经接近完工，可以等他们完工之后，再进行工作进行完上一步大概模型也可以训练出来，
2020-06-13 22:39:30
121
原创 Search功能的实现
# -*- coding: utf-8 -*-# @Time : 2020/6/10 13:21# @Author : 尹成林# @Site : https://me.csdn.net/sdyinruichao# @File : word_cloud.py# @Software: PyCharm主要工作一个新的路由 search,提供搜索服务，可以返回对应关键字的词，搜索界面如下（待修改）@app.route('/search', methods=['GET',
2020-06-10 22:17:41
494
原创 自动处理爬虫数据脚本
# -*- coding: utf-8 -*-# @Time : 2020/6/8 9:00# @Author : 尹成林# @Site : https://me.csdn.net/sdyinruichao# @File : read_file.py# @Software: PyCharm主要工作内容目录扫描返回文件名找到新增文件获得文件名后缀根据不同文件名使用不同的读取方式循环往复以上工作实现方法目录扫描def scan_files(directory
2020-06-08 20:18:01
1012
原创 对原始数据进行词云可视化
词云可视化# -*- coding: utf-8 -*-# @Time : 2020/6/7 16:01# @Author : 尹成林# @Site : https://me.csdn.net/sdyinruichao# @File : word_cloud.py# @Software: PyCharm主要分为三步来进行读取爬虫爬取数据进行处理删除无意义内容如数字、表情等等，这里用到了re库中的sub函数，通过对编码的过滤，完成文字的选择。对文本进行分词以及词频
2020-06-07 21:21:10
538
原创 6-5日工作总结
2020-6-5日工作内容主要工作内容基于bootstrap，制作web基本显示页面基于flask，搭建后台，测试页面是否正常使用具体代码web页面代码太长这里不做展示，主要使用他的布局方式后台from flask import Flask ,jsonify,render_template,url_for,redirect,abort, requestfrom flask_sqlalchemy import *app = Flask(‘kkk’)@app.route(’/hel
2020-06-07 15:57:35
158
原创 社工库2.0
#大题目 社工库2.0###环境whoosh2.7jieba12306python3.7网上嫖来的网页模板（感谢站长之家###实现效果建立的索引文件好看的页面更快的查找速度###实现过程具体的实现过程比较简易，毕竟whoosh已经封装的很好了第一步 建立索引并存储schema = Schema(zhanghao=TEXT(stored=True), code=STORED, name=TEXT(stored=True, analyzer=
2020-06-04 16:27:35
20391
22
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人