简介
实验名称:Python综合实践——浏览记录分析
课程:《Python程序设计》
班级: 2043
姓名: 曲经民
学号:20204311
实验教师:王志强
实验日期:2021年6月
必修/选修: 选修课
实验内容
之前我在翻找浏览器历史记录的时候发现,单独查询某一天的记录很方便,但是综合分析一段时间的浏览记录就比较困难。通过查询得知,Chrome浏览器的历史记录数据存储在名为History的sqlite数据库文件中。
所以我打算通过python编写一个能够分析一段时间内浏览记录的程序,并且通过图表的形式将分析结果展示在网页上,分析结果包括浏览时间、次数、搜索引擎偏好等等。
实验要求
(1)程序能运行,功能丰富。(需求提交源代码,并建议录制程序运行的视频)
(2)综合实践报告,要体现实验分析、设计、实现过程、结果等信息,格式规范,逻辑清晰,结构合理。
(3)在实践报告中,需要对全课进行总结,并写课程感想体会、意见和建议等。
实验过程及结果
一. 实现应用的关键步骤设计
二. 代码编写及调试运行
1. 解析历史记录文件数据
与解析历史记录文件数据有关的文件为history_data.py文件。
# 连接sqlite数据库,执行查询语句,返回查询结构,最终关闭数据库连接。
def query_sqlite_db(history_db, query):
# 查询sqlite数据库
conn = sqlite3.connect(history_db)
cursor = conn.cursor()
select_statement = query
cursor.execute(select_statement)
# 获取数据,数据格式为元组(tuple)
results = cursor.fetchall()
cursor.close()
conn.close()
return results
# 设置数据库查询语句select_statement,调用query_sqlite_db()函数,获取解析后的历史记录文件数据。并对返回后的历史记录数据文件按照不同元素规则进行排序。
def get_history_data(history_file_path):
try:
select_statement = "SELECT urls.id, urls.url, urls.title, urls.last_visit_time, urls.visit_count, visits.visit_time, visits.from_visit, visits.transition, visits.visit_duration FROM urls, visits WHERE urls.id = visits.url;"
result = query_sqlite_db(history_file_path, select_statement)
# 将结果按第1个元素进行排序
result_sort = sorted(result, key=lambda x: (x[0], x[1], x[2], x[3], x[4], x[5], x[6], x[7], x[8]))
# 返回排序后的数据
return result_sort
except:
# print(‘读取出错!‘)
return ‘error‘
至此,成功获取经过排序的解析后的浏览记录数据文件。
2. web服务器基本配置
与web服务器基本配置有关的文件为app_configuration.py和app.py文件。
本项目使用dash框架。
dash是一款基于python的web轻量级框架,无需js即可轻松运行。
适合用于比较简单的web页面的快速部署,如数据可视化,图表展示等。
import dash
# 配置一个dash服务器
app = dash.Dash(__name__)
#设置web服务器的端口号,访问权限,静态资源目录等
# 设置网页标题
app.title = ‘Browser History Analysis‘
# 开启加载本地css和js文件模式
app.css.config.serve_locally = True
app.scripts.config.serve_locally = True
app.layout = app_layout
# 回调,用于更新web页面数据
app_callback_function()
# 开始运行web服务器
if __name__ == ‘__main__‘:
# 是否是在本地运行(测试)
app_local = False
if(app_local):
app.run_server(host=‘127.0.0.1‘, debug=True, port=‘8090‘)
else:
app.run_server(host=‘0.0.0.0‘, debug=False, port=‘8090‘)
3. 前端页面部署
与前端部署有关的文件为app_layout.py和app_plot.py以及assets目录。
在app_layout.py中,配置的组件和平常的html, css大多一样,这里以配置页面访问次数排名组件为例。
# 页面访问次数排名
html.Div(
style={‘margin-bottom‘:‘150px‘},
children=[
html.Div(
style={‘border-top-style‘:‘solid‘,‘border-bottom-style‘:‘solid‘},
className=‘row‘,
children=[
html.Span(
children=‘页面访问次数排名, ‘,
style={‘font-weight‘: ‘bold‘, ‘color‘:‘red‘}
),
html.Span(
children=‘显示个数:‘,
),
dcc.Input(
id=‘input_website_count_rank‘,
type=‘text‘,
value=10,
style={‘margin-top‘:‘10px‘, ‘margin-bottom‘:‘10px‘}
),
]
),
html.Div(
style={‘position‘: ‘relative‘, ‘margin‘: ‘0 auto‘, ‘width‘: ‘100%‘, ‘padding-bottom‘: ‘50%‘, },
children=[
dcc.Loading(
children=[
dcc.Graph(
id=‘graph_website_count_rank‘,
style={‘position‘: ‘absolute‘, ‘width‘: ‘100%‘, ‘height‘: ‘100%‘, ‘top‘: ‘0‘,
‘left‘: ‘0‘, ‘bottom‘: ‘0‘, ‘right‘: ‘0‘},
config={‘displayModeBar‘: False},
),
],
type=‘dot‘,
style={‘position‘: ‘absolute‘, ‘top‘: ‘50%‘, ‘left‘: ‘50%‘, ‘transform‘: ‘translate(-50%,-50%)‘}
),
],
)
]
)
在app_plot.py中,使用plotly库绘制图表。plotly库是一个用于具有web交互功能的画图组件库。
# 绘制 页面访问频率排名 柱状图
def plot_bar_website_count_rank(value, history_data):
# 频率字典
dict_data = {}
# 对历史记录文件进行遍历
for data in history_data:
url = data[1]
# 简化url
key = url_simplification(url)
if (key in dict_data.keys()):
dict_data[key] += 1
else:
dict_data[key] = 0
# 筛选出前k个频率最高的数据
k = convert_to_number(value)
top_10_dict = get_top_k_from_dict(dict_data, k)
figure = go.Figure(
data=[
go.Bar(
x=[i for i in top_10_dict.keys()],
y=[i for i in top_10_dict.values()],
name=‘bar‘,
marker=go.bar.Marker(
color=‘rgb(55, 83, 109)‘
)
)
],
layout=go.Layout(
showlegend=False,
margin=go.layout.Margin(l=40, r=0, t=40, b=30),
paper_bgcolor=‘rgba(0,0,0,0)‘,
plot_bgcolor=‘rgba(0,0,0,0)‘,
xaxis=dict(title=‘网站‘),
yaxis=dict(title=‘次数‘)
)
)
return figure
该函数的代码流程为:
首先,对解析完数据库文件后返回的history_data进行遍历,获得url数据,并调用url_simplification(url)对齐进行简化。接着,依次将简化后的url存入字典中。
调用get_top_k_from_dict(dict_data, k),从字典dict_data中获取前k个最大值的数据。
接着,开始绘制柱状图。使用go.Bar()绘制柱状图,其中,x和y代表的是属性和属性对应的数值,为list格式。xaxis和yaxis`分别设置相应坐标轴的标题。
返回一个figure对象,以便于传输给前端。
assets目录下包含的数据为css,用于前端布局。
4. 后台部署
与后台部署有关的文件为app_callback.py文件。这个文件使用回调的方式对前端页面布局进行更新。
以页面访问频率排名的回调函数为例:
#页面访问频率排名的回调函数
@app.callback(
dash.dependencies.Output(‘graph_website_count_rank‘, ‘figure‘),
[
dash.dependencies.Input(‘input_website_count_rank‘, ‘value‘),
dash.dependencies.Input(‘store_memory_history_data‘, ‘data‘)
]
)
def update(value, store_memory_history_data):
# 正确获取到历史记录文件
if store_memory_history_data:
history_data = store_memory_history_data[‘history_data‘]
figure = plot_bar_website_count_rank(value, history_data)
return figure
else:
# 取消更新页面数据
raise dash.exceptions.PreventUpdate("cancel the callback")
该函数的代码流程为:
首先确定好输入是什么(触发回调的数据),输出是什么(回调输出的数据),需要带上什么数据。dash.dependencies.Input指的是触发回调的数据,而dash.dependencies.Input(‘input_website_count_rank‘, ‘value‘)表示当id为input_website_count_rank的组件的value发生改变时,会触发这个回调。而该回调经过update(value, store_memory_history_data)的结果会输出到id为graph_website_count_rank的value。
对于def update(value, store_memory_history_data)的解析。首先是判断输入数据store_memory_history_data是否不为空对象,接着读取历史记录文件history_data,接着调用刚才所说的app_plot.py文件中的plot_bar_website_count_rank(),返回一个figure对象,并将这个对象返回到前端。至此,前端页面的布局就会显示出页面访问频率排名的图表了。
接下来,就是从Chrome历史记录文件中提取出想要的数据。由于Chrome历史记录文件是一个sqlite数据库,所以需要使用数据库语法提取出相关内容。
# 获取排序后的历史数据
def get_history_data(history_file_path):
try:
select_statement = "SELECT urls.id, urls.url, urls.title, urls.last_visit_time, urls.visit_count, visits.visit_time, visits.from_visit, visits.transition, visits.visit_duration FROM urls, visits WHERE urls.id = visits.url;"
result = query_sqlite_db(history_file_path, select_statement)
# 将结果按第1个元素进行排序
result_sort = sorted(result, key=lambda x: (x[0], x[1], x[2], x[3], x[4], x[5], x[6], x[7], x[8]))
return result_sort
except:
# print(‘读取出错!‘)
return ‘error‘
每个字段代表的意思:
字段名
含义
urls.id
url的编号
urls.url
url的地址
urls.title
url的标题
urls.last_visit_time
url的最后访问时间
urls.visit_count
url的访问次数
urls.visit_time
url的访问时间
urls.from_visit
从哪里访问到这个url
urls.transition
url的跳转
urls.visit_duration
url的停留时间
5.代码调式及运行
运行成功后,通过浏览器打开http://localhost:8090:
上传浏览器History文件后,即可看到分析结果:
三. 将代码上传码云
实验中遇到的问题
本次实验中我遇到了很多问题。例如由于Chrome浏览器在sqlite中存储的时间是以1601-01-01 00:00:00 为起始时间点的微妙计数,与Unix时间戳存在时间间隔,所以需要转换,这给我造成了很大困扰。
但通过查询相关资料,我最终解决了这些问题,这也是对我综合实践能力的一次提升。
思想感悟
这学期很幸运地选到了志强老师的Python课。我一开始以为在Python理论课上,应该就是老师照着PPT念(古板印象),同学们在底下各干各的。但是出乎意料的是,志强老师的理论课十分有趣,理论课也需要我们带着电脑跟着一起敲代码,不仅如此,志强老师的课上也会联系其他知识,例如知识点在实际项目中的应用、与其他编程语言的对比。其中令我印象深刻的是,志强老师在讲到序列的时候,用了王者荣耀英雄的案例,一下子感觉很熟悉(亲切)。
除此以外,课程的实验也设置得十分合理,有层次地由易到难、由浅到深,让我在每次实验过程中都能有全新的收获。正如志强老师在课程之初提到的“人生苦短,我用Python”,通过课程学习,我有了更深的体会。希望编程语言在我们日常生活中应该更多地被使用,这才是编程解决实际问题的魅力所在。
最后,再次感谢志强老师的教导,希望Python课程能越办越好!!!
原文:https://www.cnblogs.com/jam12138/p/14956750.html