- 博客(7)
- 收藏
- 关注
RSS订阅原创 山东大学舆情分析系统项目融合日志 2021.05.30
项目融合日志 2021.05.30一、后台主系统编写1、核心系统from . import data_processing as dpfrom . import SQLfrom . import WordsCount as wcfrom . import emotion as emoimport osBasicPath = os.path.dirname(os.path.abspath(__file__)) + "\\Spider\\"Data_path = ['Spider_baid
2021-06-10 21:12:47
273
原创 山东大学舆情分析系统算法模块开发日志 2021.05.20
算法模块开发日志 2021.05.20增加了数据清洗模块import datetimeimport pandas as pd#title, url, source, timestampdef data_processing(path): csv = pd.read_csv(path, sep = ',', usecols = [0 ,1, 2, 3, 4], header = None, encoding = 'utf-8') #文本清洗 for index, row
2021-06-10 20:43:03
121
原创 山东大学舆情分析系统web服务器模块开发日志 2021.05.10
web服务器模块开发日志 2021.05.03基于Django的后端开发一、创建应用app修改app\ulrs.py，添加后端需要处理的url（如：http://localhost:8080/Login）：在app\views.py中添加网页请求相应url时，后端需要做的处理：二、修改Django配置文件修改django_vue\settings.py文件，使Django后端能够找到vue静态资源，并实现跨域增加忽略：修改django_vue\urls.py文件，使Django后端能够正
2021-06-10 20:31:14
163
1
原创 山东大学舆情分析系统web服务器模块开发日志 2021.04.20
web服务器模块开发日志 2021.04.20这段时间一直在钻研使用python搭建web服务器的相关内容，因为以前只做过java的web服务器，对其内部的数据流动、信息的接收与响应等过程的了解不够深入，在研究过程中碰到了不小的阻碍。首先我尝试了使用python自带的socket库，自己编写http监听类和Application类，用以获取网页的请求并作出响应。只能做到对静态web进行响应，响应动态网页的请求的方法尚未能掌握。import socketimport geventimport re
2021-04-20 22:42:45
104
原创 山东大学舆情分析系统算法模块开发日志 2021.04.10
算法模块开发日志 2021.04.10一、算法模块二、数据库模块三、web后端一、算法模块增加了获取某个关键词的数据源分布的方法增加了获取某个关键词的相关关键词的方法增加了无关词词库库容，使分词筛选更加精准优化了用于储存单条数据的数据结构，现在能更好的与数据库模块对接二、数据库模块完成了如下基本功能：单条数据（包含url、文本信息、时间戳、分词、来源等）的读写用户信息的读写单条热词数据（包含出现总次数、30日内每日出现次数、12月内每月出现次数、10年内每年出现次数）的初始化、修
2021-04-10 16:04:15
169
原创 山东大学舆情分析系统算法模块开发日志 2021.04.04
算法模块开发日志 2021.04.04算法模块系统框架算法模块优化了保留词、停用词、无关词、分词工具的加载方式，分词速度得到提高增加了保留词、无关词词库的内容，使分词结果更加准确增加了如下功能：获取出现频率前十的热词获取某个热词当天及前三十天的热词频度获取某个热词当月及前十二月的热词频度获取某个热词当年及前十年的热词频度获取某个热词数据来源分布等方法GitHub地址：https://github.com/STK425/Algorithm系统框架初步的系统框架设计。主程序
2021-04-04 13:53:24
158
原创 山东大学舆情分析系统算法开发进度展示
山东大学舆情分析系统算法开发进度展示本次完成了基础的分词模块、分词统计模块的开发分词模块使用了pkuseg包进行分词处理，并使用了保留字、停用词、无关词等做数据的清洗。停用词使用了网络上若干停用词包的整合，保留字和无关词为手动添加，后续考虑将加入保留字和无关词数据库，以便管理员增删。目前存在分词过程耗费事件较长，分词后未被剔除的无关词较多，统计功能不完善等问题。后附代码。MyNLP.pyimport pkuseglexicon = ["学伴", "学伴计划", "深表歉意", "不负",
2021-03-25 22:58:07
214
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人