基于python的外卖数据分析-外卖数据可视化大屏展示

QQ2743785109

已于 2024-09-03 17:27:04 修改

阅读量750

点赞数 2

分类专栏： python 文章标签： python 数据分析开发语言

于 2023-09-26 23:21:59 首次发布

本文链接：https://blog.csdn.net/QQ2743785109/article/details/133325804

版权

python 专栏收录该内容

25 篇文章 4 订阅

订阅专栏

本文介绍了基于Python的外卖数据分析系统，采用django框架，利用MySQL数据库和云平台虚拟化技术，实现分布式数据收集和清洗，通过PyQT5和Selenium自动化工具处理数据，使用FLASK技术展示结果。系统包括信息采集、维护和发布功能，有效降低资讯工作者的工作强度。

摘要由CSDN通过智能技术生成

欢迎大家关注，文末有联系方式

文章目录

一项目简介

二、技术说明
三、功能介绍
系统功能结构设计

四、系统实现
五. 参考文献
六、文章目录

一项目简介

最近几年，互联网技术得到了很大的发展，互联网已经从最初的一个获得资讯的工具，慢慢地进入到了我们的生活中，变成了我们的日常。我们饥饿的时候，会想到“美团”，旅行的时候，会想到“滴滴”，旅行的时候，会想到“去哪儿”，可以说，互联网已经成为了人们交流信息的主要渠道。如何快速、高效、准确地获取互联网上的资讯，已是一个亟待解决的课题。现在，不管是政府，还是企业，对大数据的收集、分析和发布，都给予了极大的支持。但是，如果是人工采集的话，速度会很慢，费用也会很高。
在这样的背景和要求之下，在对信息采集技术的工作原理，以及常见的爬虫框架、采集算法进行了深入的学习和研究，在对信息网站的结构特征进行了深刻的分析之后，结合采集对象的特征，将两种算法相结合，设计出了四种采集程序，并基于Soapy框架，采用了中间件技术，开发了动态浏览器标识和代理池。利用MySQL数据库和云平台虚拟化技术，构建了一套可靠性和可行性极高的分布式收集集群，提高了数据收集效率，利用PYQT5实现跨平台的信息发布程序，利用Selenium自动化工具，解决了网站登陆、网站查询以及模拟人工进行数据收集。利用FLASK技术实现了资料收集与管理系统及大屏幕的显示功能。另外，在数据清洗的基础上，通过数据清洗，格式转换，移除和增加对象，以达到数据的一致性。
本文以Python为基础，对外卖数据进行了分析，从而极大地降低了有关产业的资讯工作者的工作强度，为更快、更好、更方便地获得发布资讯，提供了技术支撑。到现在为止，这个系统已经从最初的收集对象，到最近的几百个国际和国内的站点，已经有一年多的时间了，收集到了395万条的数据。

关键词：外卖数据；信息采集；Python

二、技术说明

技术简单说明
开发语言：Python
框架：django
Python版本：python3.7.7
数据库：mysql 5.7（一定要5.7版本）
数据库工具：Navicat11
开发软件：PyCharm
浏览器：谷歌浏览器

三、功能介绍

系统功能结构设计

在上述需求分析的基础上，通过深入研究，将系统使用人员划分为信息采集编辑、信息维护编辑、信息发布编辑三个角色。然后根据这个人的工作内容，给出了对应的系统函数。本系统为收集资料输入接口，并对收集资料进行维护。具体内容有：网站名称，网站首页，网站主域名，栏目名称，栏目页面 URL，分配爬虫标志，是否开启采集的录入和维护。在图2-5中可以看到。
在这里插入图片描述

图2-5信息采集编辑功能图
该系统还给出了 Xpath的保存接口，以及获取的参数的调节接口。主要内容有：网站名称，主要域名，清单获取方法，清单关键字，清单页字段 XPL路径，详细页字段 XPL路径，是否打开测试，本地存储路径，以及是否输入重复参数及如何保存等。在图2-6中可以看到。该系统为用户提供了一个消息发布的接口。具体内容有：当日下载量、当日发布量、昨日下载量、昨日发布量、待处理信息以及显示信息详情、同步发布等。在图2至7中可以看到。
在这里插入图片描述

图2-6信息维护编辑功能图
在这里插入图片描述

图2-7信息发布编辑功能图

经过上一节的描述，我们已经对该系统有了一个大概的认识，在这一章中，我们将从两个角度，即实施和配置，来进一步讨论该系统。由于该体系是由多个不同的软件平台共同完成的，因此，本体系的实施和实施将从不同的视角来考虑。根据各模块的不同，本系统可分为管理模块，收集模块，清洗模块，存储模块，发布模块。按照开发框架，可以把它们划分成三块程序管理程序、综合采集程序、发布程序。接下来，我们将分别从这三个程序的角度，来详细地描述一下系统的开发和部署。在图3-1中可以看到。
在这里插入图片描述

图3-1系统实现部署图

四、系统实现

请添加图片描述

五. 参考文献

[1]曹忠，赵文静、一种优化的网络爬虫的设计与实现[J].电脑知识与技术，
2008(35):2082-2083.
[2]胡岘.基于Unity桌面环境的搜索引擎设计与实现[D]国防科技大学，
2013:167-1 69.
[3]徐晓琳.主题搜索引擎中网络爬虫的搜索策略研究[J].数字化用
户，2013(23):4-4.
[4]吕俊宏，周江峰.深入解析Cookie技术[J]数字通信世界，2015(6):332-333.
[5]王凤红、简单分布式网络爬虫模型的设计与分析[J].中国现代教育装备，
2008(4):76-78.
[6]Menell PS.Google,PageRank,and Symbiotic Technological Change[J]UC
Berkeley Public Law Research Paper,2012:19-20.
[7]Rogers I.The Google Pagerank algorithm and how it works[J]2012:2-3.
[8]陈丽.Google搜索引擎架构研究[J]中国科技纵横，2013(2):56-56.
[9]许剑颖.搜索引擎发展趋势研究[J].现代情报,2011(1):51-55.
[10]何震苇，邹若晨钟伟彬，钟伟彬[J].中国经济和信息化，2004(24):49-50.

六、文章目录

目录
1绪论 6
1.1项目研究的背景 6
1.2开发意义 6
1.3项目研究内容 6
第2章系统开发工具 7
2.1 Python编程语言 7
2.2 B/S模式 7
2.3 MySQL数据库 8
2.4 Django框架介绍 8
2.5 Vue开发技术 8
2.6 javaScript简介 9
3 系统分析 10
3.1 概述 10
3.2 功能需求 10
3.3 非功能性需求 12
3.4 系统特色 13
3.5 可行性研究 13
3.5.1财务上的适用性 13
3.5.2技术上的适用性 13
3.5.3运行的可能性 13
4 系统总体设计 14
4.1 系统架构设计 14
4.1.1体系结构 14
4.1.2 系统功能结构设计 14
4.2 系统数据库设计 15
4.2.1 数据库设计概述 15
4.2.2 数据库表的设计 16
第五章系统功能实现 16
5.1注册与登录模块 16
5.1.1登录模块 16
5.1.2注册模块 17
5.2管理员功能模块 18
5.2.1管理员 18
5.2.2用户管理 19
第六章系统的测试 21
6.1功能测试 21
6.2性能测试 23
6.3测试总结 23
第七章总结 25
致谢 26
参考文献 27