llwswyn-CSDN博客

原创 2020山东大学web数据管理期末考试回忆

一、填空（部分）：1.网页预处理可以采取______和______2.统计语言模型是_________，应用有__________3.爬虫的BFS比DFS好是因为__________4.CBIR技术的核心是_______和________5.web爬虫可以用_______判重二、名词解释1.web数据抽取2.HMM3.web spam4.布尔检索模型5.HOG三、简答：1.简述反爬虫与爬虫的博弈2. web爬虫爬取的数据有哪些存储格式？选取的原则？3.比较bs4和scrapy

2020-09-03 22:09:41 2436

原创创新实训7.1（优秀学生数据分析+个人报告定制）

大体系统已经完成，这段时间实现优秀学生数据分析和个人定制报告主要是sql和前后端交互的结合1.优秀学生数据分析（1）优秀学生本学年各地点人均消费情况SELECT place,round(sum(price)/54) s from consume where id in (select id from score_rank where ranking<54) group by place order by s desc（2）优秀学生学年消费分布SELECT id,sum(pric

2020-07-02 11:36:50 292

原创创新实训6.27（前后端交互+echarts.js+个人数据分析）

主要工作：前端后台数据库的连接，实现登录、更新密码和记录展示、查询学习echarts.js，实现个人数据分析实现结果如下：1.登录读取表单值经路由提交后台，后台在数据库中查询学号对应的密码是否与输入一致，一致则可登录，否则提示后回到login界面@app.route('/login', methods=['GET', 'POST'])def login(): if request.method == 'POST': # 判断是否是 POST 请求 # 获取表

2020-07-02 10:23:58 356

原创创新实训6.23（阶段总结：数据+系统规划+部分前端设计实现）

准备考试耽搁了一阵子，现在完全确定了框架、语言、数据集，专心写代码即可。这里算是从开始到目前为止工作的一段详细总结。最近的主要工作分成4块：1.找一个合适的数据集之前的数据比较少，老师那里的数据也不是很全。最后找到了一个数据集包含：学生的借阅书籍记录、消费记录、图书馆门禁记录、一学年（3学期）的排名、图书类别。2.系统功能的详细规划（1）系统的作用：分析学生的生活习惯（消费、借书、自习、最终排名），分析优秀学生（暂定排名前10%）的生活习惯作为榜样，帮助学生更好的了解自我提升自我、展示学生成绩

2020-07-02 10:21:14 267

原创创新实训6.20

整理之前写好的代码结构，正式开始我们的项目├── .flaskenv├── test_watchlist.py└── watchlist # 程序包 ├── __init__.py ├── commands.py ├── errors.py ├── models.py ├── views.py ├── static │ ├── images │ │ ├── avatar.png │ │ └── totoro.

2020-06-20 21:08:24 143

原创创新实训6.18

学会了将数据库中的值传到前端，那如何将前端input输入数据库呢？创建添加新条目的表单：<p>{{ movies|length }} Titles</p><form method="post"> Name <input type="text" name="title" autocomplete="off" required> Year <input type="text" name="year" autocomplete="off"

2020-06-19 20:32:42 150

原创创新实训6.17

经过之前的学习，已经掌握了flask中前端后台的交互今天学习数据库的传值使用python的sqlalchemy来写sql语句安装：(env) $ pip install flask-sqlalchemy下面附上数据库的url来连接，User和Movie是我们要创建的表class Config(object): """配置参数""" #sqlalchemy的配置参数 SQLALCHEMY_DATABASE_URI="mysql://**：**@127.0.0.1:3306

2020-06-19 20:08:13 142

原创创新实训6.16

改变页面的布局，对一些标签加上class，额外在html中引入style.css文件：<head> ... <link rel="stylesheet" href="{{ url_for('static', filename='style.css') }}" type="text/css"></head>style.css:/* 页面整体 */body { margin: auto; max-width: 580px;

2020-06-19 20:08:02 117

原创创新实训6.15

继续学习flaskapp.route这里可以随意更改浏览器的访问地址，也可以有多个访问地址@app.route('/home')def hello(): return 'Welcome to My Watchlist!'url_for()函数可以表达路径比如下面的代码和user_page/greyli的效果一样url_for('user_page', name='greyli')但是每次写html不能在return里写呀，所以要会引入，先在程序根目录创建一个templates文件夹

2020-06-19 20:07:52 181

原创创新实训6.14

初步学习了flask框架，比传统servlet+jsp要简单得多首先创建一个python虚拟环境$ pip install virtualenv # Windows$ python -m venv env$ virtualenv env$ env\Scripts\activate # Windows安装flask(env) $ pip install flask下面开始一个flask helloworld创建app.pyfrom flask import Flaskapp =

2020-06-19 20:07:39 319

原创创新实训6.13

学习使用git：$ git --version$ git version 2.17.1$ git config --global user.name "" $ git config --global user.email "@gmail.com" #根目录下$ git init#过滤不上传的文件$ nano .gitignore*.pyc*~__pycache__.DS_Store将程序托管到github：$ ssh-keygen$ cat ~/.ssh/id_r

2020-06-19 20:07:24 134

原创创新实训6.12

尝试了几种回归模型，但是效果都不太好，可能是数据集过小的原因，一共就只有900+数据。我们决定用一些特征选择的办法进行比较，再使用特征组合看看效果

2020-06-13 00:49:53 145

原创创新实训6.11

阅读三篇学生成绩预测的相关论文下面两篇比较有参考价值：1.基于网络日志的高校学生成绩预测系统的研究与实现2.http://www.doc88.com/p-2022558077456.html第一篇使用回归模型预测成绩，其中用到了logistic回归和朴素贝叶斯分类器，比较贴近我们想到达到的效果，但是数据集的特点相差很大另外两篇主要思路是将成绩划分成几个档次，将回归问题转化成分类问题来做，主要使用朴素贝叶斯分类器，数据集的特点和我们的数据集非常相似，但是结果离我们想要达到的效果比较远。但整体的数据分

2020-06-13 00:46:29 119

Just own today