基于python的物联网产品销售数据获取与分析-附源码191612

摘 要

如何有效的提取并利用网络上繁杂的产品销售信息对线上商家来说是一个巨大的挑战。对于处理网络上广泛的数据并整合到本地，Python爬虫有着自已强大的功能，面对网络上产品销售数据获取与分析处理，我们考虑借助Python爬虫的功能对其实现相应的处理，本文将详细论述将Python爬虫应用在物联网产品销售数据获取与分析的过程。

本系统的前端界面涉及的技术主要有Django， HTML，jQuery等等，通过这些技术可以实现前端页面的美观和动态效果使之符合广大群众的审美观，后台主要使用的技术主要有Python编程语言，MySQL数据库，Ajax异步交互，根据Ajax异步模式的数据爬取，解决了传统管理数据分析所带来的人力、物力和时间上的虚耗和交流深度的限定，这让交流的过程更快捷、准确、便利，同时完成物联网产品销售数据获取与分析系统的基本功能：用户管理、商品展示、商品评分，爬取数据、分类管理等。

关键词：数据爬取；整体式结构；Python编程语言；MySQL数据库

Python IOT product sales data acquisition and analysis system

Abstract

How to effectively extract and use the complex product sales information on the network is a great challenge for online merchants. For processing a wide range of data on the network and integrating it locally, python crawler has its own powerful functions. Facing the acquisition and analysis of product sales data on the network, we consider using the functions of Python crawler to realize the corresponding processing. This paper will discuss in detail the process of applying Python crawler to the acquisition and analysis of product sales data on the Internet of things.

The technologies involved in the front-end interface of the system mainly include Django, HTML, jQuery and so on. Through these technologies, the beauty and dynamic effect of the front-end page can be realized to make it conform to the aesthetics of the masses. The main technologies used in the background mainly include python programming language, MySQL database and Ajax asynchronous interaction. According to the data crawling of Ajax asynchronous mode, it solves the manpower and The waste of material resources and time and the limitation of communication depth make the communication process faster, accurate and convenient. At the same time, it completes the basic functions of the Internet of things product sales data acquisition and analysis system: user management, commodity display, commodity scoring, crawling data, classification management, etc.

Key words:Data crawling; Integral structure; Python programming language; The MySQL database

目  录

第1章 绪论

1.1 研究背景与意义

1.2 研究内容

1.3 论文组成结构

第2章 开发工具及相关技术介绍

2.1 Pycharm简介

2.2 MySQL描述

2.3 Python编程语言

2.4 Django框架

第3章 系统分析

3.1 可行性分析

3.1.1 技术可行性

3.1.2 经济可行性

3.1.3 操作可行性

3.2 需求分析

3.3 系统业务流程分析

3.4 系统数据流程分析

第4章 系统设计

4.1 系统架构设计

4.2 系统功能结构

4.3 功能模块设计

4.4 数据库设计

4.4.1 概念模型设计

4.4.2 逻辑结构设计

第5章 系统实现

5.1 登录模块的实现

5.2 用户子系统模块的实现

5.3 管理员子系统模块的实现

第6章 系统测试

6.1 测试目的

6.2 测试用例

6.3 测试结果

第7章 总结与展望

参考文献

致谢

1 绪论

1.1研究背景与意义

物联网是新一代信息技术的重要组成部分。其英文名称是“The Internet ofthings”。由此，顾名思义，“物联网就是物物相连的互联网”。这有两层意思:第一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络;第二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。因此，物联网的定义是:通过射频识别（RFID)、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，把任何物体与互联网相连接，进行信息交换和通信，以实现对物体的智能化识别、定位、跟踪、监控和管理的一种网络。网络爬虫是指通过已有的既定规则，自动地抓取网页信息的计算机程序，既通过程序模拟浏览器请求站点的方式，把站点返回的HTML代码/JSON数据/二进制数据爬到本地，进而提取自己需要的数据。其目地在于将目标网页数。据批量性的下载至本地，便利在本地对文件的分析和利用。爬虫技术相应优势：爬虫技术的兴起源于网络数据的广泛分布以及其可用性，所以通过爬虫技术，我们能够较为容易的获取网络数据，并通过对数据的分析，得出有价值的结论。基于Python语言的简单和通俗易懂，加上使用时配合上正则表达式以及已存在的爬虫框架和工具包便利了开发者的操作，使得数据抓取变得简单有趣。

目前仍有很多中小型企业通过人工来进行产品销售数据获取与分析，这种方法虽然已经存在较长时间，但是其弊端十分明显，除了效率低下，还经常出现错误，信息安全也无法保证。信息量随着销售的进行而不断增加，记录与分析的难度也就越来越大，在查询过往信息时也比较困难，有时还会出现信息丢失的情况，上述这些导致企业的发展受到了阻碍。开发一套完善的“Python物联网产品销售数据获取与分析系统”是企业发展的重要助力，可以帮助获取大量的销售数据进行准确地分析，还可以确保信息的安全性。

1.2研究内容

物联网产品销售数据获取与分析系统的开发及实现，所需要的工作内容：

（1）首先是确定选题，确定好所要做的系统，并对系统的背景及现在面临的一些问题等进行系统的初步确认。

（2）系统确认完成后，结合系统开发的需求进行确认系统开发所使用的技术，物联网产品销售数据获取与分析系统的开发使用Django框架，数据库进行平台的搭建开发，确认好使用的技术进行技术分析，所使用的技术是否可以完成系统的实现。

（3）确定好系统使用的技术，进行在线确认系统所划分的用户角色，并且根据用户角色划分确定所要设计的功能模块，对物联网产品销售数据获取与分析系统的设计主要划分别为管理员和用户角色，并所使用的功能模块也相应不同，但是系统的数据库实现的内容是交互的，用户可以随时根据自己的需求进行信息获取，对于系统工作人员可以根据自己的分管内容进行在线信息的处理及操作，管理员获取到所有用户的详细数据信息，并根据需求进行第一时间处理解决。

（4）系统的功能模块确认完成后进行程序及界面的设计，设计完成后，并且通过测试来判断程序是否完善，对于系统测试，需要不同的用户进行不同的内容编辑及提交，及使用不同的测试方式找出程序中存在的漏洞，并对程序出现的漏洞问题进行在线解决处理，如果测试系统没有任何问题时，可以将系统上传进行正式操作使用。

1.3论文组成结构

根据市场调研得到的信息数据，结合国内外前沿研究，利用相关系统开发和设计方法，最终设计出物联网产品销售数据获取与分析系统。

本文共有七章，如下所示。

第一章概述了物联网产品销售数据获取与分析系统的研究目的和意义；精炼地总结了目前数据分析领域的研究情况和未来的研究趋势，最后给出了论文的组成结构。

第二章简要概述了本文所用的开发技术和工具。

第三章简要对系统各业务流程进行需求分析、可行性分析。

第四章对物联网产品销售数据获取与分析系统进行设计。

第五章对物联网产品销售数据获取与分析系统进行实现，并贴出相关页面截图，语言描述出具体功能实现的操作方法。

第六章对物联网产品销售数据获取与分析系统采用测试用例的方式来对一些主要功能模块测试，最后得出测试结果。

第七章总结全文并对未来的研究做出展望。

2 开发工具及相关技术介绍

2.1Pycharm简介

PyCharm是用于Python脚本语言的最流行的IDE。

1.每个文件都有其输出窗口。

2.可以终止进程（只要点下按钮就行）。

3.各种提示超强：①没用的变量颜色会变灰②用错了的变量下面会有红色波浪线③书写提示(sublime也有但较弱)。

4.索引功能超强。

2.2 MySQL描述

现在MySQL数据库在网络上它可以支撑许多个用户，而且也可以适应客服机和服务器的部署或者配置等，我们这里的服务器和客户机其实就是一种软件上的概念，并且我们使用的计算机硬件也与他们不存在一一对应的关系。

MySQL是一款非常流行的关系型数据库管理系统，它的出现一直都是佼佼者，它不仅功能非常强大，而且使用起来非常方便，并且MySQL的跨平台能力也很好，软件开发人员非常喜欢它的这些强大的优点。不同于其他关系型数据库，对于数据库的管理它有着自己的一套方案，通过对用户设定相应的权限和角色来达到对数据库的管理。由此可见，MySQL是一个能够适用于吞吐量高，可靠性高，效率高的一款数据库管理软件。

优点一：MySQL中对于不同身份的用户都设定其不同的权限来完成不同的业务逻辑，这使得MySQL在安全和完整性远远超出了其他关系型数据库。

优点二：对于那些动画、图形和声音的数据类型MySQL也可以支持，这说明多数据类型MySQL也是可以支持的。

优点三：MySQL还可以做到多个平台的开发，软件开发的多种编程语言都可以实现对MySQL数据库的操作。

2.3 Python编程语言

Python是一种开发语言，能够以直译的方式进行计算机语言，而且可以面向对象编程。它是由Guido van Rossum在十九世纪八十年代末研发出来，并且在九一年公开发行使用。Python有很多特点，比如有简洁的语法，清晰的语句，丰富的类库。正式由于这些优点，能够非常快速的和其他语言进行结合，来实现各种功能模块。很多人给它起了个外号叫“黏黏胶”语言。使用Python快速生成程序的原型，是现在很多程序员使用的方法。如果其中有比较特殊要求的地方，也非常方便的进行修改。

而且PyQt具有双证，为它能够跨平台运行（例如UNIX，微软和苹果的平台）提供了保证。

使用Python语言之前，要进行平台的安装，用户需要根据不同的平台，下载不同的版本，然后进行环境变量的配置，便可以进行运行。

Python 特点：

1.相对于其他计算机语言来说学习起来比较简单：Python的关键字较少，结构相对简单，语法简单，对于刚学编程语言的人来说更容易上手。

2.阅读起来也相对简单：Python代码结构简洁明了，并在定义上看起来也非常清晰，所以在阅读的过程中更加简单。

3.维护起来方便：Python的维护简单方便。

4.标准库特别广泛：Python的最大的最大优势是有非常多的库，而且是跨平台的，而且对系统的兼容性很好，比如在UNIX，Windows和Macintosh系统上都能够进行兼容。

5.具有方便的互动模式：有了互动模式的支持，开发者可以从代码就可以看到结果，这样开发者对程序的测试与调试，变的更方便。

6.可移植性好：Python可以跨平台运行。

7.扩展性非常好的：如果有关键的代码，你可以用特殊的语言进行编写，也能够在系统中调试运行。

2.4 Django框架

Django是一个由Python编写的具有完整架站能力的开源Web框架。使用Django，只要很少的代码，Python的程序开发人员就可以轻松地完成一个正式网站所需要的大部分内容，并进一步开发出全功能的Web服务。

Django本身基于MVC模型，即Model（模型）+View（视图）+ Controller（控制器）设计模式，因此天然具有MVC的出色基因：开发快捷、部署方便、可重用性高、维护成本低等。Python加Django是快速开发、设计、部署网站的最佳组合。

3 系统分析

3.1可行性分析

在软件开发的过程中系统的可行性分析是必不可少的，可行性的研究就是评估问题是否能得到解决并且是要以最少的时间和最少的代价来解决。为实现上面的目标还要必须考虑到解决这些问题的方法的优点和缺点，还要考虑到实现了这些系统规模的开发带来的经济效益。这里可以用技术的可行性，操作的可行性，经济的可行性对我们的系统进行可行性的研究。物联网产品销售数据获取与分析系统的可行性分析如下所示：

3.1.1技术可行性

物联网产品销售数据获取与分析系统采用的是Python编程语言并于Django框架，数据库部分采用的是当前流行的MySQL数据库，物联网产品销售数据获取与分析系统中的所有数据资源都存储在MySQL数据库中，本系统多处采用了Ajax的异步操作，Ajax技术可以对用户指定部分的数据进行局部刷新，不仅减少了服务器对页面的解析而且极大增加了用户的体验度。本系统的环境配置也较为简单，因为用的是Pycharm编辑器，而Pycharm里面有自带的Tomcat服务器和Python环境，因此不需要我们在重新配置。

本系统采用Python、MySQL来支持事务和数据逻辑用H5来做前台页面的显示。

HTML网页中的不同组成成分是采用标签的形式来进行标识的。以下是HTML的基本的组成布局：

图3-1 HTML基本构成图

3.1.2经济可行性

物联网产品销售数据获取与分析系统是在Python和MySQL的环境中运行的，而系统的成本也只是主要分布在软件的开发和维护上。但如果系统上线投入使用之后，不仅可以方便人们，还节省了用户的时间和精力，而且还极大限度的方便了运营者，减少了运营者的工作强度。物联网产品销售数据获取与分析系统其实也不太复杂，在开发的时候经济支出也不大，在开发系统时时间用的也不多，从时间的优势和对经济利益方面产生的好处远超过维护和管理的成本，所以开发此系统是可行合适的。

3.1.3操作可行性

本系统是基于浏览器和服务器的酒店信息预览及在线预订系统，系统开发完成之后用户只需要在浏览器中输入正确的URL地址即可进行访问。本系统的前台页面简单明了，在没有操作指导的情况下也可以进行操作，无论是系统管理员还是普通用户在页面中所有的操作都是在浏览器中完成的，因此只要电脑在有网络的情况下，打开浏览器都能操作。而且在使用之前也不用进行相关的环境配置，因此本系统方便、简单、易于使用，所以该系统是容易并且可操作的。

3.2需求分析

根据用户对系统的需求，要求系统简单操作，能够准确，完整的对信息进行管理。酒店信息预览及在线预订系统在对需求做解析后，整个系统主要分为两个部分：管理员和普通用户，每个模块下的分支功能不一样。对功能做出如下说明：

管理员模块：用户管理、网站资讯管理、爬取数据管理、分类管理、商品展示、商品评分管理。

用户模块：注册登录，网站资讯、商品展示、爬取数据以及商品评分信息等。

用户用例图如下所示。

图3-1 用户用例图

管理员用例图如下所示。

图3-2 管理员用例图

根据用例图，对一些重要的用例进行描述。

注册用例描述如下表所示。

表3-1 注册用例描述

用例名称	注册
参与者	用户
描述	用户填写相关注册数据完成注册成为系统的用户
前置条件	无
后置条件	用户填写相关注册数据并且要注册的账号不存在与系统中
事件流	用户点击注册按钮 用户填写相关注册数据 用户确认并提交注册数据 系统提示注册成功
补充说明	系统检测用户所输注册数据如不符合要求则提示并返回注册界面 系统检测用户所输账号不可用或已存在与系统中则提示并返回注册界面

登录用例描述如下表所示。

表3-1 登录用例描述

用例名称	登录
参与者	用户
描述	用户填写用户名和密码登录系统
前置条件	用户拥有账号和密码
后置条件	用户名和密码都正确
事件流	（1）用户在登录页面输入用户名和密码 （2）系统检测用户输入的用户名和密码是否正确 （3）用户名和密码正确的话，显示登录成功并返回主页面
补充说明	（a）系统检查除密码不正确，返回登录页面

商品评分管理用例描述如下表所示。

表3-1 商品评分管理用例描述

用例名称	管理和修改商品评分信息
参与者	用户
描述	用户查看、修改商品评分信息
前置条件	用户已登录到系统中
后置条件	无
事件流	（1）用户查看商品评分 （2）用户修改商品评分
补充说明	（a）用户可修改商品 （b）用户可修改评分信息

公告用例描述如下表所示。

表3-1 公告用例描述

用例名称	公告
参与者	用户
描述	用户发表公告
前置条件	用户已登录
后置条件	公告内容不违规
事件流	（1）在公告页输入公告数据，提交公告 （2）更新并显示公告板
补充说明	（a）公告内容不能为空

商品展示管理用例描述如下表所示。

表3-1 商品展示管理用例描述

用例名称	商品展示管理
参与者	用户
描述	用户发表商品展示
前置条件	用户已登录
后置条件	商品展示内容不违规
事件流	（1）在商品信息页输入商品展示数据，提交商品展示 （2）更新并显示商品展示板
补充说明	（a）商品展示内容不能为空

爬取数据用例描述如下表所示。

表3-1 爬取数据用例描述

用例名称	爬取数据管理
参与者	用户
描述	用户提供新增、修改、删除、查询等功能
前置条件	用户成功登录系统 用户只能对已存在的爬取数据进行修改和删除
后置条件	无
事件流	（1）用户查看修改爬取数据 （2）用户添加爬取数据 （3）用户删除爬取数据
补充说明	（a）新添加的爬取数据不符合要求时会添加失败 （b）修改的爬取数据不符合要求时会修改失败

用户管理用例描述如下表所示。

表3-1 用户管理用例描述

用例名称	用户管理管理
参与者	用户
描述	用户提供新增、修改、删除、查阅等功能
前置条件	用户成功登录系统 用户只能对已存在的用户管理进行修改和删除
后置条件	无
事件流	（1）用户查看修改用户管理 （2）用户添加用户管理 （3）用户删除用户管理
补充说明	（a）新添加的用户管理不符合要求时会添加失败 （b）修改的用户管理不符合要求时会修改失败

3.3系统业务流程分析

管理员拥有最高权限，在对各项信息进行增加、删除、修改后会更新后台数据库的内容，管理员在登录后进行用户管理、爬取数据管理、商品展示管理、商品评分管理、网站资讯管理、分类管理等指令动作同样会更新后台数据。

3.4系统数据流程分析

与强调控制逻辑的程序流程图不同，它更关心的是整个系统中数据的具体流动以及数据的加工处理的整个客观过程，是对数据规格的说明。也正因如此，系统数据流图作为系统结构化分析方法中极为重要的一种描述工具备受青睐。

物联网产品销售数据获取与分析系统的顶层数据流如下图所示。

图3-4系统顶层数据流图

系统顶层数据流：外部实体为用户，第一个流程为登录验证，用户信息表返回密码验证，是否正确，正确则登录系统，错误则反馈信息，登录系统后，根据不同用户的功能选择，来读写数据库。

系统底层数据流如下图所示。

图3-5系统底层数据流图

系统底层数据流：外部实体为管理员和普通用户，数据流分别有管理员和普通用户流向系统数据流程，数据表提供数据支持，来完成逻辑操作。

4 系统设计

4.1系统架构设计

由于本系统在逻辑事务处理方面对数据库的操作比较频繁所以系统在底层连接数据库封装之后相当于一个连接数据库的工具DB UTIL，这样使用起来会更加方便而且这样进行封装还可以降低系统中代码的冗余，当我们需要连接和使用数据库时只需要调用这个工具里面的一个方法就可以了。而且通过封装可以把对数据库的操作独立起来，当需要连接不同种类的数据库时只需要加以修改就可以达到目的。

DAO层本来并无这个类，它只是Python中MVC构造里的一个model概念，主要就是里面的一些方法，而这些方法就是用来访问数据库的方法。我们在软件开发时DAO层我们一般都放接口和接口的实现类，用于来规范实现类的我们叫它接口，实现类重点用于对数据库的操纵。

MVC是一种系统研发的关键模型，M是Model模型，它是系统内部关键程序运行的核心，主要进行对数据库的各种操作。视图View是V也叫做视图，主要的作用是对一些数据进行显示。控制器Controller 是C执行从View的视图层来读取数据，然后控制用户的输入。

系统架构如下图所示。

图4-1系统架构图

4.2系统功能结构

进入系统后首先要进行登录，验证你的身份，赋予你不同的权限。当你成功登录后，页面会有多个板块，分别是用户信息、网站资讯、爬取数据、商品展示、商品评分、分类管理。里面界面简单易懂，根据标示可以直接进行方便快捷的操作。

系统功能结构图如下所示。

图4-2系统功能结构图

4.3功能模块设计

管理员账户的基本信息管理。主要提供管理员账户的基本信息录入、删除、维护和查询等功能，包括：

管理员录入管理员账户基本信息；

管理员更新、增加及删除管理员账户基本信息；

用户根据管理员账户 ID 查询基本信息；

系统管理员更改个人密码；

爬取数据管理。主要爬取数据信息录入、修改和查询功能，包括：

信息录入、店铺、标题、城市、销量，评论数等；

管理员更新、增加及删除爬取数据信息；

商品评分管理。主要提供商品评分录入、修改和查询功能，包括：

用户可以浏览店铺、价格、销量、城市、评分等；

管理员更新、增加及删除商品评分；

管理员根据商品评分 ID 查询商品评分；

用户的基本信息管理。主要提供用户个人的基本信息录入、删除、维护和查询功能， 包括：

管理员录入用户信息；

管理员更新、增加用户基本信息；

管理员根据用户信息 ID 查询用户基本信息；

用户根据个人信息导航栏查询个人信息；

4.4数据库设计

一个好的系统它的后台数据库一定要考虑的全面，这和我们建造房子一个概念，房子不是随心所欲建起来的，一切都是在合理设计的基础是实现的，地基打牢固了房子才能建的更高。数据库如果设计的很合理，而且每个方面都能考虑到了那么这个系统才能不会出现大的问题。

4.4.1概念模型设计

本系统在数据库中存放了多张表，分别是用户表、爬取数据表、商品展示表、商品评分表。

系统的主要实体间关系E-R图如下图所示。

图4-3系统E-R图

4.4.2逻辑结构设计

此环节把概念转变成数据。由于整个数据库所处理的信息过多，就只展示几个表。

名称	类型	长度	不是null	主键	注释
registered_user_id	int	11	是	是	注册用户ID
user_name	varchar	64	否	否	用户名
examine_state	varchar	16	是	否	审核状态
recommend	int	11	是	否	智能推荐
user_id	int	11	是	否	用户ID
create_time	datetime	0	是	否	创建时间
update_time	timestamp	0	是	否	更新时间

名称	类型	长度	不是null	主键	注释
Data crawling_id	int	11	是	是	数据爬取ID
shop_name	varchar	64	否	否	店铺名
total_sales	int	11	否	否	总销量
average_price_of_sneakers	int	11	否	否	价格
remarks	text	0	否	否	评分
recommend	int	11	是	否	标题
create_time	datetime	0	是	否	创建时间
update_time	timestamp	0	是	否	更新时间

名称	类型	长度	不是null	主键	注释
Product score_id	int	11	是	是	商品评分ID
title	date	0	否	否	标题
Price	varchar	64	否	否	价格
city	int	11	否	否	城市
sales volume	text	0	否	否	销量
Number of comments	int	11	是	否	评论数
Commodity category	datetime	0	是	否	商品类别
update_time	timestamp	0	是	否	更新时间

名称	类型	长度	不是null	主键	注释
Commodity display_id	int	11	是	是	商品展示ID
title	varchar	64	否	否	标题
Sales ranking	varchar	64	否	否	销量排名
Price	varchar	64	否	否	价格
Product score	text	0	否	否	商品评分
recommend	int	11	是	否	智能推荐
create_time	datetime	0	是	否	创建时间
update_time	timestamp	0	是	否	更新时间

notice_announcement表:

名称	类型	长度	不是null	主键	注释
notice_announcement_id	int	11	是	是	通知公告ID
title	varchar	64	否	否	标题
relevant_attachments	varchar	255	否	否	相关附件
publisher	varchar	64	否	否	发布人
release_date	date	0	否	否	发布日期
content	longtext	0	否	否	内容
recommend	int	11	是	否	智能推荐
create_time	datetime	0	是	否	创建时间
update_time	timestamp	0	是	否	更新时间

 

5 系统实现

5.1登录模块的实现

该登录模块利用JS进行设计，PythonScript函数CheckSubmit()对输入框是否为空进行验证，使用JS的技术结合MySQL5.7数据库的查询语句进行登录信息的验证。首先从文本框中分别获得账号user_name和密码user_pw，使用Sql语句“select * from t_user where user_name=‘”+user_name+“’ and user_pw=‘”+user_pw+“’”将查询结果赋给rs结果集，若rs.next()返回值为空，表示数据库找不到该用户数据，若rs.next()返回值不为空，则显示登录成功，进入主界面。

用户登录流程图如下所示。

图5-1用户登录流程

用户登录流程：用户只有输入正确的用户名和密码才会成功进入系统，用户输入用户名密码后点击登录按钮，系统会进行校验该用户名是否存在，如果用户名与密码不匹配或者用户名不存在，则返回主界面。

系统登录界面如下图所示。

图5-2系统登录界面

5.2用户子系统模块的实现

5.2.1用户首页模块

在浏览器的地址栏里输入http://localhost:8080/index.html 地址，就可以跳转到酒店信息预览及在线预订系统的首页，首页是由4个页面组成的，包括top、left、down和center等页面，这里也是浏览者访问系统的入口，通过@ include引入。

首页载入流程图如下所示。

图5-3首页载入流程

首页载入流程：系统先连接数据库，显示界面参数初始化，读取数据库的数据表，读取html显示模板，对数据按添加时间排序，按照模板设计位置显示数据，刷新显示界面，断开数据库连接。

首页如下图所示。

图5-4首页界面

5.2.2用户注册模块

系统的用户通过自行注册生成，在系统首页点击用户注册菜单，系统跳转到对应的注册页面。点击重置按钮，清空所填数据，点击注册按钮完成注册。

用户注册流程图如下所示。

图5-5用户注册流程

注册个人信息实现流程为：填写个人信息，系统使用JQuery选择器获取在网页中输入的注册信息，再对联系方式、登录密码等信息进行验证，验证通过后用Ajax异步请求方式向服务器发送请求并把数据传送到后台，然后验证用户名是否已存在，如果已存在则注册失败提示“用户名已存在”；如果用户表中没有该用户名则把用户信息加入数据库，把操作状态以JSon字符串方式返回到前台。Ajax请求成功接收到返回的数据时会触发成功回调函数，然后解析返回的JSon字符串，系统根据返回信息弹出提示框，注册成功后返回登录页。

用户注册界面如下图所示。

图5-6用户注册界面

5.2.3爬取数据模块

爬取数据界面主要展示信息有：标题、价格、城市、销量、评论数、店铺内容等，如下所示。

图5-7爬取数据界面

5.2.4商品展示模块

管理员发布商品展示信息后，商品信息在系统前台显示，用户浏览商品展示，包括店铺、城市、价格、销量排名，选择相应的商品，通过id传参，找到该展示信息，在add.html提交发布，生成商品展示列表。

商品展示流程如下图所示。

图5-8商品展示流程

商品展示界面如下图所示。

图5-9商品展示界面

5.3管理员子系统模块的实现

5.3.1系统用户管理模块

管理员对系统用户的管理，在yhzhgl.html实现管理员用户的管理，包括录入、删除、修改，修改密码通过SESSION获取用户名，然后输入新密码，提交到mod.html中，使用SQL命令更新密码。

用户管理的界面如下图所示。

图5-10用户管理界面

5.3.2商品评分管理模块

管理员在shangpinpingfen_list.html审核商品评分信息进行发布，并对商品评分进行维护管理。

商品评分管理如下图所示。

图5-11商品评分管理界面

5.3.3爬取数据管理模块

爬取数据管理包括新增爬取数据、删除爬取数据、修改爬取数据、查询爬取数据等，以爬取数据新增为例，在视图层请求爬取数据信息新增，反馈后，调用业务逻辑层，通过业务逻辑层的接口调用底层的数据逻辑层完成数据库联动操作。

爬取数据管理的流程如所示。

图5-12爬取数据管理流程

爬取数据添加的界面如所示。

图5-13爬取数据添加界面

爬取数据管理的界面如所示。

图5-14爬取数据管理界面

6 系统测试

6.1测试目的

在这个产品被投入使用前，首先需要进行试用，这是重要的环节。考虑到某个部分的开发没有缺陷情况下，把各种模块拼接，也有一定概率就存在矛盾。这就好比每个人都很独特，但聚在一起就显得杂乱无章，需要保证有默契的配合。对于测试，要看它的各项内容是否契合的原则。若与最初定下的标准有一定程度上的出入，那么就需要做出一些调整，让最终的大方向朝着目标前进。

6.2测试用例

6.2.1登录测试 

登录测试用例如下表所示。

表6-1登录测试用例

输入		输出
用户名	密码
空	空	用户名或密码不能为空
蔡徐坤	123	用户名不能为汉字，请重新输入
789	789	用户名或密码错误
678	123456	登录成功

6.2.2注册测试 

注册测试用例如下表所示。

表6-2注册测试用例

输入				输出
用户名	密码	确认密码	邮箱
空	空	空	空	请输入完整
001	001	001	001@qq.com	注册成功
002	002	003	002@qq.com	注册失败，两次密码不一致
003	003	003	003.com	注册失败，邮箱格式不正确

6.2.3 爬取数据 测试

爬取数据测试用例如下表所示。

表6-3爬取数据测试用例

功能	测试数据	预期结果	测试结果
爬取数据反馈	爬取数据内容：	在爬取数据列表中显示爬取数据内容，爬取数据显示为未发布	和预期一致
发布爬取数据	爬取数据发布内容	爬取数据列表中的爬取数据显示已发布	和预期一致
删除爬取数据	删除爬取数据	爬取数据成功删除	和预期一致

6.2.4 商品评分 管理测试 

商品评分测试用例如下表所示。

表6-4添加商品评分测试用例

输入				输出
城市	城市	店铺	备注
空	空	空	空	添加失败
商品评分1	A	1		添加成功
空	A	1		添加失败，城市不能为空
商品评分2	空	1		添加失败，请选择店铺

6.3测试结果

经过测试，得到测试结果如下表所示。

表6-5测试结果

测试项目	内容和目的	测试结果
用户登录	输入正确用户名与密码	可以登录
	输入错误用户名与密码	提示错误的信息
爬取数据管理（添加，修改，删除）	输入正确信息	成功完成
	输入错误信息	操作失败
修改登录密码	修改新的密码	成功完成
商品展示管理（添加，修改，删除）	输入正确信息	成功完成
	输入错误信息	操作失败
商品评分管理（添加，修改，删除）	输入正确信息	成功完成
	输入错误信息	操作失败
用户管理（添加，修改，删除）	输入正确信息	成功完成
	输入错误信息	操作失败
分类管理（添加，修改，删除）	输入正确信息	成功完成
	输入错误信息	操作失败

7 总结与展望

本次毕业论文的主要是利用Python+MySQL开发一个安全可靠，操作简易，同时具备业务可扩展的物联网产品销售数据获取与分析系统。本文详细的论述了物联网产品销售数据获取与分析系统的设计和开发，本系统的所有事务逻辑都是按照系统的需求分析进行设计的，系统有普通用户和系统管理员两种角色，本系统多处采用了Ajax的异步交互技术，同时它也叫异步交互技术，利用它我们可以让网页的局部进行数据刷新操作，Ajax和传统的数据更新技术大大增加了客户的体验程度，由于是对局部进行操作那么就减少了一些繁琐而又不必要的操作，减轻了服务器对页面解析的负担。

与其他系统相比，本系统有自身的优点，

例如：

（1）创新性强；

（2）业务逻辑性强，安全性高，在一些重要的功能模块需要通过审查之后才可使用；

（3）移植性高，在所有Window平台都可使用。

当然也还有很多需要进一步改进的地方：

（1）系统大多数页面都是全局刷新，缺乏局部刷新，这将增加服务器的压力，如果有大量用户在同一时间段操作同一个功能模块，可能会导致查询缓慢；

（2）页面没有经过专业的UI设计，美观程度不及其他市场其他网站系统，有待改善。

参考文献

1. 肖卓宇,黎妍.计算思维导向下的Python数据分析教学改革研究[J].计算机时代,2021(12):121-124.
2. [2]王艳雨,刘萍.基于云计算与物联网技术的数据挖掘分析[J].科技创新与应用,2021,11(35):94-97.
3. 陈新.论空间数据挖掘和知识发现的理论与方法[J].电脑知识与技术,2021,17(33):20-21+31.
4. [4]陈国有,程怀志,苏红,朱江,刘金成,吕鹏举.基于数据挖掘的药学教育资源库录入信息量的控制[J].微型电脑应用,2021,37(10):5-8.
5. 丁毅涛.大数据时代下的数据挖掘课程改革探索[J].科技风,2021(27):27-29.
6. [6]任仲晟.基于数据仓库的数据挖掘技术[J].数字技术与应用,2021,39(09):59-61.
7. 范瑛.基于Python数据挖掘实现客户预测的技术分析[J].信息记录材料,2021,22(09):173-174.
8. [8]刘知云.关于数据挖掘技术在软件工程中的应用分析[J].电脑知识与技术,2021,17(24):27-28.

[9]王子豪.可视化技术与数据挖掘技术在审计中的配合运用研究[J].市场周刊,2021,34(07):110-112+154.

[10]程宇.基于数据挖掘的通信业务使用行为分析方法研究与设计[J].中国水运(下半月),2021,21(07):39-41.

[11]龙虎,彭志勇.大数据智能分析与数据挖掘研究[J].电脑编程技巧与维护,2021(06):108-110+131.

[12]张向伟.Python数据分析中的数据整理探讨[J].电子世界,2021(11):57-58.

[13]张丽.基于灰色新陈代谢GM(1,1)模型的淘宝销售数据研究[J].上海工程技术大学学报,2021,35(01):88-93+96.

[14]应迎春.基于Python语言的算法与程序设计教学策略[J].中国信息技术教育,2021(06):36-38.

[15]Do clinical and paraclinical findings have the power to predict critical conditions of injured patients after traumatic injury resuscitation? Using data mining artificial intelligence[J].中华创伤杂志英文版,2021,24(01):48-52.

[16]王宁宁.基于ARIMA模型数据的分析与预测[J].智能计算机与应用,2020,10(05):240-243+247.

[17]Hailun Liang,Lei Yang,Lei Tao,Leiyu Shi,Wuyang Yang,Jiawei Bai,Da Zheng,Ning Wang,Jiafu Ji.Data mining-based model and risk prediction of colorectal cancer by using secondary health data: A systematic review[J].Chinese Journal of Cancer Research,2020,32(02):242-251.

致谢

经过几个月时间的努力终于完成了这篇文章，在文章的写作与研究的过程中遇到了很多困难，都在同学和老师的帮助下解决了。尤其非常感谢我最敬爱的老师，他对我进行了无私的指导和帮助，不厌其烦的帮助进行文章的修改。老师严谨的治学态度、渊博的学术知识、诲人不倦的敬业精神以及宽容的待人风范使我获益颇丰。此外，在校图书馆查找资料的时候，图书馆的老师也给我提供了很多方面的支持与帮助。在此，向帮助和指导过我的老师表示最衷心的感谢！感谢这篇文章所涉及到的各位学者。本文引用了数位学者的文献，如果没有各位学者的研究成果的帮助和启发，我将很难完成本篇文章的写作。感谢我的同学、朋友以及所在单位的同事，在我写文章的过程中给与了我很多素材和帮助，还在文章的撰写和排版过程中提供热情的帮助。同时，感谢我的室友对我的热心指导和帮助，经常有不懂之处都是大家在帮助我，才使得我比较顺利的完成了这篇文章。由于我水平有限，所写文章难免有不足之处，恳请各位老师和学友批评和指正！

点赞+收藏+关注  →私信领取本源代码、数据库