基于python美团外卖的数据分析系统论文

最新推荐文章于 2024-09-26 17:36:35 发布

QQ1694456187

最新推荐文章于 2024-09-26 17:36:35 发布

阅读量1.2k

点赞数 22

分类专栏： node app 文章标签： python 开发语言

本文链接：https://blog.csdn.net/QQ1694456187/article/details/139316743

版权

node 同时被 2 个专栏收录

48 篇文章 0 订阅

订阅专栏

app

15 篇文章 0 订阅

订阅专栏

摘要

目前信息技术的推陈出新，不断更新换代，令很多用户享受到了前所未有的便捷，很多人喜欢在网上查询美团外卖信息，而企业也减少了人力成本，因此本文就django美团外卖的数据分析系统系统
进行了设计与实现，提升了企业的盈利价值，同时还设计了美团外卖推荐功能。
系统的设计主要根据美团外卖企业的真实用户需求进行，整体的设计更为人性化。本文在设计方面主要根据美团外卖企业的研究背景，用户和企业的需求，功能分析，以及用例图的勾画进行了总体的概述和深入的探讨。
系统的开发流程使用了scrapy框架进行数据的爬取，然后使用django框架进行各个功能模块的编写，然后将前台功能模块写入伪代码然后进行封装使用Streaming序列化数据，使用HIVe进行数据统计，然后使用spark获取数据库信息，计算各类功能模型信息，进行后端的可视化效果的展示，主要是根据各个节点的不同进行接口调用，此外需要注意的系统中美团外卖推荐使用了协同过滤推荐算法。
关键词：scrapy框架；django框架；美团外卖的数据分析系统系统；django框架

第1章系统分析

3.1 系统的可行性分析
3.1.1 技术可行性分析
在技术放方面，Django美团外卖的数据分析系统系统具有一定的可行性，系统使用Python语言进行代码的编写，该语言在市场上运行了多年，且是开源的使用了hadoop环境包，在数据库方面运用Mysql数据库的设计与实现，整体系统运用该数据库更加便于保存和添加，因此该系统在技术方面具有一定的克星。
3.1.2 经济可行性分析
该系统在企业管理系统中的经济可行性，是较好的，主要体现在用户能够在前端进行浏览，管理员可以在后端进行管理，与此同时，还能够根据数据库信息进行相应的统计，计算，提供给管理员有利的统计信息，让企业能够更有效的了解用户的查看行为，喜好行为向用户进行推荐，据相关资料表示，该系统在市场上发展已经日渐成熟，为大量的企业带来了较好的经济价值，因此可以说该系统的经济可行性较好。
3.1.3 操作可行性分析
在Django美团外卖的数据分析系统系统中整体系统界面美观，浏览时能够很快的查看到系统购买信息，美团外卖信息，价格信息，并且还可以加入到购物车，用于还可以进入到自己的后台中去，一眼就可以看到系统的美团外卖信息，用户浏览美团外卖信息时，可以查看图片，查看文字表述，还可以随手加入购物车，进入到我的购物车中统一购买，操作起来非常快捷。同时管理员登端登录后，管理后台的界面也比较清晰，分类比较明确，管理用户，管理美团外卖信息，一般只需要普通的人员就可以进行操作了，整个Django美团外卖的数据分析系统系统非常具有可行性。
本系统上线时只需进行简单的内部培训即可，系统操作很简单易上手，只需按照系统流程来完该商家的美团外卖信息管理、管理和订单的管理操作，所以本次设计的系统在操作上也是可行的。根据以上经济可行性、技术可行性和操作可行性可行性这三点的分析，我们可以发现美团外卖管理管理系统管理信息系统在各个方面都是可行的。
3.1.4 法律可行性分析
在法律角度说，该系统非常合法，而且使用的很多软件都是开源的，而且借助了文献中很多Django美团外卖的数据分析系统系统的功能，且借助的资料都是可以模拟和仿写的，另外本系统的设计图片和设计由本人经过修改和加工后进行的创作，并没有设计到任何侵权，因此Django美团外卖的数据分析系统系统法律可行性也是可行的。本系统使用对象为美团外卖管理商家管理人员和员工，这些用户有了一定的文化基础。
3.2 需求分析
信息收集与发布的对象不再局限于一两个来源，而应该包括成百甚至数千个来源。并且收集到的资料在经过系统清理后，还要经过人为的修改和发表。因此，收集和发布系统应该被划分成三个部分，分别是：收集、运营和发布。收集的用户的角色是信息收集和编辑，运营使用的角色是运营和运营，而发布使用的角色是信息发布。
3.3 系统用例建模
3.3.1 Django美团外卖的数据分析系统系统管理员用例分析
该系统的用户端，包含了公告信息，美团外卖信息，，美团外卖推荐等功能，用例图主要如下3-1所示。在这里插入图片描述

图3-1 Django美团外卖的数据分析系统系统用户用例图
3.3.2 Django美团外卖的数据分析系统系统管理员用例分析
Django美团外卖的数据分析系统系统的管理员能够进行美团外卖的管理，以及后端不同类型的美团外卖进行统计，如图3-2所示。
在这里插入图片描述

图3-2 Django美团外卖的数据分析系统系统的管理员端用例图

第2章系统设计

4.1 系统总体构架
Django美团外卖的数据分析系统系统包含了用户和管理员两个角色，用户的功能有美团外卖信息的功能，的功能，以及公告信息的功能。而管理员在后端能够对不同的美团外卖信息进行管理，还可以通过看板统计进行可视化展示。
在这里插入图片描述

图4-1 Django美团外卖的数据分析系统系统系统架构图
4.2 系统各个功能模块设计
4.2.1 管理员业务流程设计
管理员在后台能够打开看板统计，然后查看快递单统计，用户年份统计，出版社统计，出品人统计，还可以进行上传模板下载版本，然后根据如图4-2所示。
在这里插入图片描述

图4-2 美团外卖管理管理员业务流程图
4.2.2 用户业务流程设计
用户登录到美团外卖页面后，可以进行美团外卖信息的浏览，在此期间需要进行登录如图4-3所示。
在这里插入图片描述

图4-3 Django美团外卖的数据分析系统系统用户业务流程图
4.3 数据库得设计

4.4 系统设计流程
4.4.1 系统流程概述
在系统的搭建过程中，先需要进行爬取数据，然后将数据写入数据库进行可视化效果展示，但是该数据属于动态的，需要根据三个方式进行读取，爬取数据库后，写入数据库，然后用户在数据库中填写数据，最后根据数据库中用户填写的信息，进行数据库命名的id调取，然后管理员进行管理。
在这里插入图片描述

图4-4 系统概述
4.4.2 爬虫流程
使用scrapy框架进行美团外卖信息。具体而言，定义了一个类tushuxinxispider并继承自scrapy.spider。
定义了程序的名称name和要爬取数据的起始url start_urls。
重载了start_requests函数，通过循环遍历start_urls来获取每页数据，并调用parse函数进行解析。
定义了parse函数用于解析获取到的每页数据。
在parse函数中使用css选择器定位要获取数据的标签。
使用正则表达式对选定的标签进行匹配来获取数据。
定义了一个detailurlrule变量来存储美团外卖详细信息页面的url链接。
最后返回收集到的数据给管道处理。
最后将这些影视详细信息存储到项目items中，然后通过yield函数返回给scrapy框架进行处理以形成数据库（或json文件）。爬取的网址为 start_urls = http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-{}
爬取的页面截图如图所示。

在这里插入图片描述

4.4.2 数据处理
导入必要的模块：pymysql、pymssql和itemadapter。
定义了一个名为spiderpipeline的类。
实现了三个函数：open_spider、close_spider和process_item。
open_spider函数用于在爬虫开始运行时打开数据库连接。
close_spider函数用于在爬虫结束时关闭数据库连接。
process_item函数用于处理每一条收集到的数据，并把它们链接到数据库中。
insert_db函数用于向数据库中链接数据，其中包含sql查询语句和参数化查询。
item.values()返回的是抓取到的数据的值，用元组封装。
item.keys()返回的是抓取到的数据的键(列名)，也就是表的字段名。
spidername.replace(‘spider’, ‘’)使用replace方法将spidername字符串中的"spider"替换为空白，得到的新字符串作为表名。
最后执行sql操作并提交(commit)数据库事务。

4.4.3 系统架构及原理
该系统的框架首先是用户显示层，用户展示的公告信息，美团外卖信息，美团外卖可视化展示，使用hive进行可视化的展示，进行hadoop进行各个节点的展示,然后通过spark进行数据的获取，链接数据库形成系统。

4.4.4 系统数据分析
该系统的数据处理部分，相对于传统的数据处理要比较轻松，主要是基于数据库，进行列名的统计。采用systemintro_page函数主要实现分页查询数据，并根据表的属性进行权限控制。其中包括：获取全部列名，判断是否需要按用户自己的信息过滤查询结果，判断是否需要生成留言板的表messages，并进行权限判断，判断当前表是否为管理员表(isadmin)，如果是，则可以查看所有人的记录，否则只能查看自己的记录，根据__authtables__属性进行权限处理，若有值(某个用户表)，则对应的表有个隐藏属性authtable为”是”，在该用户查看该表信息时，只能查看自己的，最后，调用systemintro.page函数实现分页查询，并返回json格式的结果。systemintro_autosort函数主要实现智能推荐功能，即按clicktime或browseduration排序查询最新或者最近点击的5条记录。其中包括：根据sort字段（clicknum、browseduration、clicktime）进行排序查询，返回查询结果并返回json格式结果，并返回一个json格式的响应，其中包含有关成功或失败状态的消息。在前端点赞或踩系统介绍对象，并更新点赞数和踩数字段，然后返回一个json格式的响应，其中包含有关成功或失败状态的消息。用于在前端查看系统介绍对象详细信息，并返回包含对象数据的json格式响应。更新了浏览点击次数的字段。所有这些函数都使用一个名为systemintro的模型进行数据库操作，具有不同的行为和控制。
实现了一个推荐算法接口。假设用户以post或get请求发送请求。该函数会检索用户在storeup表中存储的最近选择，并将其用作筛选器从systemintro表中检索数据。然后将结果转化为字典列表格式，并将datetime类型数据转化为字符串类型。最后返回json格式的响应，包含了代码参数、消息内容和数据。