【摘 要】 本文设计了基于大数据的用户行为数据的电商推荐系统的设计与实现，本系统的核心功能是通过爬取实海量电商用户行为的原始数据，并通过大数据技术将原始数据存储、计算，并将分析的结果通过开发Web程序以可视化列表形式展示。
本论文的主要研究工作及取得的成果如下:
本文介绍了基于大数据的用户行为数据的电商推荐系统，该系统利用Flask作为后台框架，通过深入研究电商平台用户的行为特征、购买偏好以及用户满意度，为电商平台提供精准的运营策略和改进方案。在这个系统中，大数据分析技术被应用于收集、处理和分析海量用户数据，从而揭示用户行为背后的规律和趋势。
首先，系统通过Flask框架搭建了一个稳定高效的后台服务，用于接收和处理来自前端的请求，并与大数据处理引擎进行交互。其次，系统利用大数据分析技术对用户行为数据进行挖掘和分析，包括用户浏览记录、购买记录、评价信息等，从中提取用户的偏好和习惯。同时，系统还通过协同过滤等技术评估用户的满意度和情感倾向，为电商平台提供推荐功能。
通过对用户行为数据的深入分析，电商平台可以更好地理解用户群体，优化商品推荐算法，精准营销策略，提升用户体验和满意度。此外，系统还可以帮助电商平台发现潜在的问题和瓶颈，为运营决策提供数据支持和参考，实现业务的持续增长和发展。
综上所述，基于大数据的用户行为数据的电商推荐系统在电商领域具有重要的应用和推广意义，为电商平台提供了一种全新的数据驱动决策模式，帮助企业更好地把握市场动向，提升竞争力，实现可持续发展。
【关键词】 大数据 协同过滤 Flask 电商用户行为 Qt
Design and implementation of e-commerce recommendation system based on user behavior data
【Abstract】This paper designed the design and implementation of e-commerce user behavior analysis system based on big data. The core function of this system is to obtain massive raw data of e-commerce user behavior through crawling, store and calculate the original data through big data technology, and display the analysis results in the form of visual lists through the development of Web programs.
The main research work and achievements of this paper are as follows:
This paper introduces an e-commerce user behavior analysis system based on big data, which uses Flask as the background framework to provide accurate operation strategies and improvement plans for e-commerce platforms through in-depth research on the behavioral characteristics, purchase preferences and user satisfaction of e-commerce platform users. In this system, big data analysis technology is applied to collect, process and analyze massive user data to reveal the laws and trends behind user behavior.
Firstly, the system builds a stable and efficient background service through Flask framework, which is used to receive and process requests from the front end and interact with the big data processing engine. Secondly, the system uses big data analysis technology to mine and analyze user behavior data, including user browsing records, purchase records, evaluation information, etc., to extract user preferences and habits. At the same time, the system also assesses users' satisfaction and emotional tendencies through collaborative filtering and other technologies to provide recommendation functions for e-commerce platforms.
Through in-depth analysis of user behavior data, e-commerce platforms can better understand user groups, optimize product recommendation algorithms, precise marketing strategies, and enhance user experience and satisfaction. In addition, the system can also help e-commerce platforms find potential problems and bottlenecks, provide data support and reference for operational decisions, and achieve continuous business growth and development.
To sum up, the e-commerce user behavior analysis system based on big data has important application and promotion significance in the field of e-commerce, providing a new data-driven decision-making mode for the e-commerce platform, helping enterprises to better grasp the market trend, enhance competitiveness, and achieve sustainable development.
【Keywords】 Big data collaborative filtering Flask e-commerce user behavior
目 录
1 绪论
1.1研究背景与现状
随着计算机技术的发展以及互联网快速发展，电子商务也逐渐以智能化的形式走向我们的生活，慢慢的代替了传统的线下零售。电商现在的功能也越来越丰富，不仅具有用来购买商品等传统功能，还可以进行电商直播，买家互动等新型购买方式。
当面对互联网数以亿次的购物产生了大量用户购买电商的行为数据，我们需要使用这些数据进行大数据分析，计算，将用户对电商的销量进行可视化处理。这不仅有利于商家对销售行情的把握，还有利于买家进行各大品牌的筛选，因此设计并开发一套基于用户行为数据的电商推荐系统是非常有必要的。
1.2论文主要研究工作
通过运用大数据平台技术，以电商用户行为行为数据作为切入点，基于各个品牌电商销售数据的特点，设计能够满足各个品牌的电商销售的大数据分析系统。作为一个电商用户行为数据分析系统，通过分析电商品牌、电商用户行为等信息，可以找出隐藏在数据背后的信息，为更好的优化产品性能，给商家提供大众喜欢的电商销售类别，给从事电商的人提供大众购买的趋势，提高用户服务的同时提高订单成交率。
本系统主要完成基于用户行为数据的电商推荐系统。该系统将完成电商销售数据的爬取、电商销售数据的存储、电商销售数据的分析、电商销售数据的可视化展示模块等五大板块。
系统的核心是解决海量电商销售数据文件的存储与计算的任务。系统将采用Flask等后台技术及数据可视化技术，矩阵分解则能够从用户行为数据中挖掘出潜在的特征和模式，从而优化推荐效果。
2 技术总述
2.1 基于Scrapy的网络爬虫技术
Scrapy是目前较为成熟的爬虫技术框架，一般采用Python语言开发程序，Scrapy用途广泛，Scrapy具有较为成熟的优点，且开发起来较为简便，只需要按照脚手架搭建，即可快速编程。
对于目前市场上较为流行的爬虫技术有Selenium,Scrapy等，但由于考虑到Scrapy框架开发较为方便，本文使用Scrapy技术进行原始数据的采集。
在本设计中，由于需要使用到电商网站的电商用户行为的原始数据，因此需要开发相应的网络爬虫程序完成对电商用户行为原始数据的采集，下图2-1为爬取电商用户行为数据的原理流程图。
图2-1 电商用户行为爬虫原理流程图
2.2 协同过滤技术
协同过滤（Collaborative Filtering）是一种常用的推荐系统技术，它基于用户历史行为数据或项目特征数据，发现用户或项目之间的相似性，并利用这种相似性进行个性化推荐。协同过滤主要分为两种类型：基于用户的协同过滤和基于物品的协同过滤。
基于用户的协同过滤（User-based Collaborative Filtering）：
基于用户的协同过滤是根据用户与其他用户的行为相似性来进行推荐的。
具体做法是首先计算用户之间的相似度，常用的相似度计算方法包括余弦相似度、皮尔逊相关系数等。
然后，根据相似用户的行为，预测当前用户可能感兴趣的项目或商品。
基于用户的协同过滤适用于用户数量较少、项目数量较多的场景。
基于物品的协同过滤（Item-based Collaborative Filtering）：
基于物品的协同过滤是根据项目之间的相似性来进行推荐的。
首先，计算项目之间的相似度，通常采用项目的内容特征或用户对项目的评分等信息。
然后，根据用户过去的行为或偏好，推荐与用户喜欢的项目相似的其他项目。
基于物品的协同过滤适用于项目数量较少、用户数量较多的场景，且在实际应用中往往具有更高的推荐准确度。
协同过滤技术的优点包括：
个性化：根据用户的历史行为和偏好，为每个用户提供个性化的推荐。
实时性：能够实时地根据用户最新的行为进行推荐，适应性强。
没有需求信息：不需要事先了解项目的特征或用户的需求，只需利用用户行为数据进行推荐。
然而，协同过滤也存在一些挑战：
冷启动问题：针对新用户或新项目的推荐效果较差。
稀疏性：用户行为数据往往是稀疏的，导致难以找到相似的用户或项目。
推荐解释性：无法提供推荐的解释或理由，降低了用户对推荐结果的信任度。
综合来看，协同过滤技术在推荐系统中具有广泛的应用，特别适用于电商、社交媒体、视频流媒体等领域，可以帮助用户发现新的兴趣点，提升用户体验和平台粘性。
2.3 Flask技术
Flask是一个开放源代码的Web应用框架，由Python写成。采用了Mgoods的框架模式，即模型M，视图V和模版T。它最初是被开发来用于管理劳伦斯网络IP 集团旗下的一些以新闻内容为主的网站的，即是CMS（内容管理系统）软件。并于2005年7月在BSD许可证下发布。这套框架是以比利时的吉普赛爵士吉他手Flask Reinhardt来命名的。2019年12月2日，Flask 3. 0发布 。
Flask是高水准的Python编程语言驱动的一个开源模型．视图，控制器风格的Web应用程序框架，它起源于开源社区。使用这种架构，程序员可以方便、快捷地创建高品质、易维护、数据库驱动的应用程序。这也正是OpenStack的Horizon组件采用这种架构进行设计的主要原因。另外，在Dj ango框架中，还包含许多功能强大的第三方插件，使得Flask具有较强的可扩展性。Flask 项目源自一个在线新闻 Web 站点，于 2005 年以开源的形式被释放出来。其工作流程主要可划分为以下几步：
1.用manage .py runserver 启动Flask服务器时就载入了在同一目录下的settings .py。该文件包含了项目中的配置信息，如前面讲的URLConf等，其中最重要的配置就是ROOT_URLCONF，它告诉Flask哪个Python模块应该用作本站的URLConf，默认的是urls .py。
2.当访问url的时候，Flask会根据ROOT_URLCONF的设置来装载URLConf。
3.然后按顺序逐个匹配URLConf里的URLpatterns。如果找到则会调用相关联的视图函数，并把HttpRequest对象作为第一个参数(通常是request)。
4.最后该view函数负责返回一个HttpResponse对象。
2.4 本章小结
本章主要分析了系统开发过程中使用到的技术点和框架，通过研究这些技术的原理后，在本设计中加以应用，包括电商用户行为采集的爬虫技术，数据持久化存储技术，以及基于Flask框架的系统后台技术，通过预研上述技术点并加以应用从而开发出基于大数据的电商用户行为数据分析系统。
3 基于用户行为数据的电商推系统实现
3.1 系统可行性分析
3.1.1可行性研究
通过对系统研究目标及内容的分析审察后，提出可行性方案，并对其进行论述。主要从技术可行性出发，再进一步分析经济可行性和操作可行性等方面。
3.1.2 经济可行性
开发系统所涉及到的资料，一般是在图书馆查阅，或是在网上进行查找收集。开发过程使用到的IDE一般也是开源的，因此，开发成本是几乎为零。但是开发出来的系统，还是具有高效率，低成本，较高质量的。所以，从经济可行性的角度，该系统符合标准。
3.1.3技术可行性
从技术可行性而言，由于本人一直是计算机相关专业，在大学期间也一直学习的就是计算机和大数据相关技术，如大数据,Python,MapReduce等，这次毕设更是对自己的专业知识的一次实际应用，使自己对知识的理解更加深厚，因此从技术可行性而言也是没有问题的。
3.1.4 运行可行性
由于本人在日常学习的过程中也会经常使用到本文设计中所设计的计算框架，这些框架的版本都是经过本人的经验和查阅资料后确定的，另外本文使用的是个人笔记本开发，不使用大量的服务器资源，因此运行可行性是满足的。
3.1.5 时间可行性
从时间上看,由于本人很早就确立了论文的题目，因此很早就开始了基础技术的研究，有了一定的基础理论支撑，然后开发程序的时间也是足够的，并且预留了一定的时间去修复整个系统的BUG，因此从时间上来说是完全可行的。
3.2 系统实现流程
通过前面的功能分析可以将基于大数据的电商用户行为数据分析系统的研究与实现的功能主要包括用户登录、数据大屏、数据分析等内容。后台管理是针对已登录的用户看到满意的电商销售数据分析而设计的。
（1）明确目的
在设计电商用户行为大数据分析平台初期需要了解如何获取电商用户行为原始数据是非常基础也是关键的一步。要了解大数据分析平台期望达到什么样的运营效果，从而在标签体系构建时对数据深度、广度及时效性方面作出规划，确保底层设计科学合理。
（2）数据采集
只有建立在客观真实的数据基础上，大数据计算分析的结果才有效。在采集数据时，需要考虑多种维度，比如不同厂商电商用户行为数据、不同品牌销量数据、不同价位的销量数据等等，还可以通过行业调研、用户访谈、用户信息填写及问卷、平台前台后台数据收集等方式获得。
（3）数据清洗
就对于各大电商用户行为网站或者APP平台采集到的数据而言，可能存在非目标数据、无效数据及虚假数据，因而需要过滤原始数据，去除一些无用的信息以及脏数据，便于后续的处理。
（4）特征工程
特征工程能够将原始数据转化为特征，是一些转化与结构化的工作。在这个步骤中，需要剔除数据中的异常值并将数据标准化。
（5）数据计算
在这一步我们将得到的数据存储到大数据分析平台，通过开发MapReduce程序对原始数据进行计算，将不同维度的结果存储到Mysql中。
（6）数据展示
分析结果可以通过大数据后台展示到前端界面，对于普通用户而言，只需要登录到该后台系统，就可以获取到电商用户行为数据分析后的计算结果，从而了解行业的电商用户行为情况，对于用户而言可以非常清晰的分析出各大品牌的电商用户行为情况。
3.3 系统平台架构
图3-1 基于用户行为数据的电商推荐系统架构
在任何信息系统当中有价值的数据都是必不可少的重要部分，如何通过手上的资源获取得到有价值的数据便是开发系统。首先需要考虑的问题根据系统的功能设计数据获取和处理的流程以及其实现方法都已经基本上确定获取和处理流程。
由于大数据开发需要搭建集群环境，而集群环境一般都要求位于同一局域网内的多台机器，由于多台机器从购买和维护的成本的角度上而言都是比较昂贵的，这对于普通开发者而言是一笔不小的费用，因此本文拟使用Vmware虚拟机搭建大数据集群环境。
图 3-2数据处理
3.4 电商用户行为数据爬虫设计
这个项目我们的主要目的是爬取京东网的电商用户行为数据信息，包括电商用户行为岗位、企业名称和企业描述和规模等具体详情信息，下面描述本文爬虫工程主要设计步骤。
(1)创建项目
打开一个终端输入:scrapy startproject MyScrapy，Scrapy框架将会在指定目录下生成整个工程框架。系统生成的目录如下图3-2所示:
图3-3 电商用户行为爬虫框架目录结构
(2)修改setting文件
如下表3-1所示为修改后的setting文件主要内容，本设计主要修改三项内容，第一个是不遵循机器人协议，第二个是下载间隙，由于下面的程序要下载多个页面，所以需要给一个间隙（不给也可以，只是很容易被侦测到），第三个是请求头，添加一个User-Agent。
(3)确认要提取的数据，item项
item定义你要提取的内容（定义数据结构），比如我提取的内容为电商用户行为的不同品牌和企业电商用户行为详情，于是需要在items类中新建对应的实体类，并需要设置相应的字段取出对应的数据。Field方法实际上的做法是创建一个字典，给字典添加一个建，暂时不赋值，等待提取数据后再赋值。
- 开发爬虫程序，访问下载网页，使用Xpath语法提取内容。
表3-1 电商用户行为爬虫主要代码
| import requestsfrom bs4 import BeautifulSoup # 模拟登录获取Cookie login_url = 'http://example.com/login' login_data = { 'username': 'your_username', 'password': 'your_password' } session = requests.session() response = session.post(login_url, data=login_data) # 爬取用户行为数据 target_url = 'http://example.com/user_behavior' response = session.get(target_url) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser')
# 根据页面结构解析数据 user_behaviors = [] behavior_elements = soup.find_all('div', class_='user-behavior')
for element in behavior_elements: behavior = element.text user_behaviors.append(behavior)
# 处理用户行为数据 for behavior in user_behaviors: # 可以进一步处理数据，比如存储到数据库或文件中 print(behavior)else: print('Failed to fetch data') |
3.5 电商用户行为分析程序设计
用户购买频次分析：统计每个用户购买的次数，了解用户的购买活跃度。
用户购买金额分析：计算每个用户的购买总金额，分析用户的购买能力。
商品购买量分析：统计不同商品的购买数量，了解热销商品和滞销商品。
用户购买时间分析：分析用户在不同时间段的购买情况，例如一天中的哪个时段购买量最高。
数据可视化：利用数据可视化工具（如Matplotlib、Seaborn等）将分析结果可视化，以便更直观地呈现分析结论。
表3-2 电商用户行为分析程序
| import pandas as pdimport matplotlib.pyplot as plt # 示例数据：用户购买记录 data = { 'user_id': [1, 2, 3, 4, 5], 'purchase_count': [5, 10, 3, 8, 12], 'total_amount': [100, 200, 50, 150, 300] } # 创建DataFrame df = pd.DataFrame(data) # 用户购买频次分析 purchase_counts = df['purchase_count'] avg_purchase_count = purchase_counts.mean()print(f'平均购买次数：{avg_purchase_count}') # 用户购买金额分析 total_amounts = df['total_amount'] avg_total_amount = total_amounts.mean()print(f'平均购买金额：{avg_total_amount}') # 数据可视化 plt.figure(figsize=(10, 5)) # 绘制购买次数柱状图 plt.subplot(1, 2, 1) plt.bar(df['user_id'], df['purchase_count']) plt.xlabel('User ID') plt.ylabel('Purchase Count') plt.title('Purchase Count per User') # 绘制购买金额柱状图 plt.subplot(1, 2, 2) plt.bar(df['user_id'], df['total_amount']) plt.xlabel('User ID') plt.ylabel('Total Amount') plt.title('Total Amount per User') plt.tight_layout() plt.show() |
首先根据用户购买记录计算了用户的购买频次、平均购买金额、购买总金额等指标，并计算了用户的购买价值、活跃度和忠诚度等指标。然后通过Matplotlib库绘制了购买价值、活跃度和忠诚度的柱状图展示分析结果。
表3-3 电商推荐系统程序
| from pyspark.sql import SparkSessionfrom pyspark.ml.feature import StringIndexer, VectorAssemblerfrom pyspark.ml.recommendation import ALSfrom pyspark.sql.functions import col # 创建SparkSession spark = SparkSession.builder \ .appName("E-commerce Recommendation System") \ .getOrCreate() # 加载用户行为数据 data = spark.read.csv("user_behavior_data.csv", header=True, inferSchema=True) # 数据预处理 indexer_user = StringIndexer(inputCol="user_id", outputCol="user_id_idx") indexer_product = StringIndexer(inputCol="product_id", outputCol="product_id_idx") indexed_data = indexer_user.fit(data).transform(data) indexed_data = indexer_product.fit(indexed_data).transform(indexed_data) # 划分数据集 (training, test) = indexed_data.randomSplit([0.8, 0.2]) # 构建推荐模型 als = ALS(maxIter=5, regParam=0.01, userCol="user_id_idx", itemCol="product_id_idx", ratingCol="rating", coldStartStrategy="drop") model = als.fit(training) # 模型预测 predictions = model.transform(test) # 查看前10个用户的推荐结果 userRecs = model.recommendForAllUsers(10) userRecs.show() # 停止SparkSession spark.stop() |
4 后台系统实现
本文设计的基于大数据的电商用户行为数据分析系统的后台系统采用的是Flask框架实现的，这是一种MVC模式的开发框架，通过在表现层接收前端传入的参数，将在Controller进行逻辑分发，再调用Service进行不同业务的处理，最后去操作数据库进行数据的CRUD，从而实现指定的功能。前端使用Echarts技术，在数据持久层使用的是MySQL数据库。本文将在第四章介绍本系统后台的搭建过程，技术选型，以及后台代码配置等，最后以具体页面的详情图描述了本系统的常用的基本功能。
4.1 开发环境与配置
4.1.1 开发环境
本系统设计基于B/S架构，其中服务器包括应用服务器和数据库服务器。这种架构模式，使用户只需要在有网络的地方即可通过浏览器访问，而不需要再安装天气端软件，交互性更强。基于Flask的智慧社区分析可视化分析平台使用Pycharm集成开发工具。而系统运行配置时，选择应用本地来部署Web服务器来保障平台的正常运行。本系统的主要开发环境以及开发工具如表4-1所示。
表4-1 系统开发环境和工具
| 系统环境及版本 | |
| 硬件环境 | Windows 64 位操作系统 |
| Python | Python2.6 |
| 数据库 | MySql |
| 开发工具 | Pycharm |
| 项目架构 | Flask |
4.1.2 框架配置介绍
本系统使用集成开发工具 Pycharm进行开发， 本文主要介绍 Flask 框架的配置。创建了一个Flask应用程序，设置了DEBUG模式为True，并指定了一个SECRET_KEY。接下来定义了一个简单的路由'/'，并编写了对应的视图函数index，返回消息。另外配置还可能涉及到数据库配置、日志配置、第三方服务配置等等。可以将这些配置放在一个单独的配置文件中，然后在应用程序中导入配置。
表4-2 后台的配置文件
| from flask import Flask app = Flask(__name__) # 应用程序配置 app.config['DEBUG'] = True app.config['SECRET_KEY'] = 'your_secret_key_here' python class Config: DEBUG = True SECRET_KEY = 'your_secret_key_here' SQLALCHEMY_DATABASE_URI = 'sqlite:///database.db' |
4.1.3 数据库的设计
数据库设计是系统设计中特别重要的一部分。数据库的好坏决定着整个系统的好坏，并且，在之后对数据库的系统维护、更新等功能中，数据库的设计对整个程序有着很大的影响。
根据功能模块的划分结果可知，本系统的用户由于使用账号和密码进行登录，因此在本系统中需要分别进行数据记录。首先根据如下3个数据实体:用户、用户行为等，商品表数据库表。
商品的属性包括商品编号、商品名、产品类别和地址、商家信息。商品实体属性图如图4-1所示：
图4-1商品实体属性图
用户的属性包括用户编号、用户名、密码和性别、注册账号的时间。用户实体属性图如图4-2所示：
图4-2 用户实体属性图
用户行为的属性包括编号、用户用户、商品编号和行为类型、采集时间。用户行为实体属性图如图4-3所示：
图4-3 电商用户行为属性图
4.2 系统功能模块实现
4.2.1登录认证
当用户执行登陆操作时，后台会从前端传过来的参数中拿到用户名和密码，并查询数据库，通过findUserByName方法查询该用户的密码字段，再将查询的结果和前端传过来的密码参数字段进行比对，如果相同，则匹配成功用户直接跳转到登录成功后的欢迎界面；如果匹配失败则需提前前端继续输入正确的密码直到登录成功。用户登录具体流程如时序图如4-4所示。
一
图4-4登录认证流程图
基于大数据的电商用户行为分析集群系统的用户登录界面如下图所4-5所示：
图4-5用户登录界面
登陆成功后，系统会成功跳转至首页，在首页中，位于上方的横栏是对本系统的基本信息的描述和欢迎登录效果，另外登录用户的用户名也会显示在首页中，可直接表明用户已成功登录。左侧则是本系统的导航菜单，可折叠展示，较为方便，右方则为欢迎页效果。基于大数据的电商用户行为分析集群系统的首页界面如下图所4-6所示：
图4-6用户行为数据的电商推荐系统首页界面
4.2.2电商用户行为数据管理
电商用户行为数据管理功能是对电商用户行为数据进行查询，删除等操作的功能集合，电商用户行为数据管理功能使用到了电商用户行为数据表t_goods,
基于大数据的电商用户行为分析集群系统的电商用户行为数据管理功能界面如下图所4-7所示：
图4-7 电商用户行为数据管理菜单界面
电商用户行为数据管理
功能流程功能图如图4-8所示：
图4-8电商用户行为数据管理功能流程图
通过“电商用户行为数据管理”按钮，进入电商用户行为数据界面，用户可以看到电商销量列表，例如：品牌、所在商铺名称、电商售价、销售数量、商品详情、销售时间的详细信息。通过此界面，用户可以对电商销售数据信息进行删除管理操作。
4.2.3电商用户行为分析看板功能
数据可视化模块就是对我们采集和计算的分析结果的展示。数据分析模块的数据进行一个精美而又直接的展示，我们采用大屏的方式进行展示，展示数据结构分明，背景具有科技感，把相对复杂的、抽象的数据通过可视的、交互的方式进行展示，从而形象直观地表达数据蕴含的信息和规律。
图4-9 电商用户行为大屏流程
电商用户行为分析看板界面如图4-10所示。
图4-10电商用户行为分析看板界面
电商用户行为分析可视化看板的功能较为丰富，由图可知，用户在登录本系统后，可以很清楚的读懂目前市场上的电商销售行情，如什么品牌的电商销量最高，那个价格区间的电商销量最高等等，这对用户而言是十分关注的，因此如何开发出美观的可视化界面也是一项不可或缺的工作。本文使用了图形，表格，地图等各种方式联动数据，十分直观。另外本文使用了Echarts中地图、线条等组件，将分析结果较为直观的展示给平台用户，使得用户能够简便的获取有效的信息。
图4-11电商用户价值分析界面
4.3 本章小结
本章主要分析了基于大数据的电商销量分析系统的设计与实现系统开发过程中使用到的技术和具体的实现步骤，这其中主要介绍了电商销量大数据分析平台的搭建环境和开发步骤，包括程序中的一些数据库配置等。前端页面采用的是Html实现。
第5章 系统的测试
5.1注册功能
5.1.1功能概要
用户打开女装分析系统的网页或应用程序，可以选择进行新用户注册。在注册页面，用户需要提供以下信息：
用户名：用于登录和标识用户身份的唯一名称。
密码：用于保护用户账户安全的密码，需要符合一定的复杂度要求。
邮箱地址：用于接收系统通知和找回密码等操作的有效邮箱地址。
其他个人信息（可选）：如性别、年龄、喜好等，用于系统个性化推荐和服务。
6.1.2详细描述
该后台注册功能，通过向后台注册接口发送请求，如图5-1是后台注册界面。登陆成功，则提示注册成功，并跳转到快手女装评论登录界面，如图5-2所示。
图 5- 1 登录页面
5.2登录功能
5.2.1功能概要
该功能是用于用户登陆女装分析系统，当用户输入用户名和密码之后，经过数据校验，成功则进入主页面。
5.2.2详细描述
该后台登录功能，通过向后台登录接口发送请求，如图5-2是后台登录界面。登陆成功，则提示登陆成功，并跳转到后台管理界面，如图5-2所示。
图 5-2管理信息界面
5.3后台管理系统
5.3.1 数据管理
5.3.1.1查询功能
女装分析系统的可视化查询功能是指用户可以通过图形化界面进行数据查询和筛选，获取符合特定条件的女装评论数据，并以可视化方式展示结果。下面是一个关于可视化查询功能的简要描述：
界面设计： 可视化查询功能应该具有用户友好的交互式界面，包括输入框、下拉框、复选框等控件，可以方便用户进行数据查询和筛选。同时，界面还应该有一定的美观性和易用性，以提高用户的使用体验。
查询条件： 可视化查询功能应该提供多种查询条件，如时间范围、评论内容、商品类型、情感极性、评分等，使用户可以根据自己的需求进行筛选。查询条件还可以根据实际情况进行扩展和调整。
数据展示： 查询结果应以可视化方式呈现，如柱状图、折线图、饼图等，可以直观地展示数据的分布和趋势。同时，也可以提供表格或列表形式的展示方式，以方便用户查看更详细的数据信息。
交互式操作： 可视化查询功能还应该支持用户的交互式操作。例如，用户可以通过鼠标单击或拖动、缩放等方式对图表进行操作，以获得更精确的数据信息。同时，也可以提供导出数据、分享链接等功能，便于用户进行数据分析和共享。
该后台查询功能，用户在登录之后，通过向后台查询接口发送请求，如图6.4是后台查询界面。输入所需要查询的内容，若查询成功，则跳转到所查询评论管理信息界面，如图5-3所示。
图 5-3 查询页面截图
5.3.2 用户管理
该功能展示了用户的列表如图5-4所示，可以进行用户的增删，名称等信息的修改，有助于我们管理所注册的用户的信息。
图5-7 用户管理
图5-4 添加用户
5.3.3 权限管理
该功能用于对所有注册的用户的管理，用户的增删、管理员的设置，使得管理系统主次分明，更加完善，如图5-5所示。
、
图5-5权限管理
5.4本章小结
本章主要分析了电商用户行为数据电商推荐系统的测试过程，包括系统架构各模块测试，用户注册测试，用户登录测试，数据管理的查询功能测试、用户管理和权限管理等。
6总结与展望
6.1 系统开发遇到的问题
（1）在网络爬虫开发的过程中，由于企业网站会设置反爬虫操作，很多电商销量电商销量发布网站的前端页面代码会更改，包括页面的整体结构和局部的标签都进行了细微的改变，甚至有一小部分业务逻辑也进行了改变，进而导致之前前期己完成的开发爬虫代码无法长期使用，需要定期维护和修改。
（2） 由于基于大数据电商用户行为数据分析平台是由本人独立开发，因此在系统设计和业务逻辑方面更多地借鉴了目前市场上较为流行的框架和技术点，包括大数据技术，很多是不熟悉没接触过的，在开发过程中不断学习新知识。另外由于本人的时间和精力的原因，在系统开发过程中有很多地方可能并不能够完全尽如人意，还有许多需要补充的功能与模块。
6.2 总结与展望
为保证有足够的技术能力去开发本系统，首先本人对开发过程中所用到的工具和技术进行了认真地学习和研究，详细地钻研了基于Python的网络爬虫技术以及 Echarts,CSS,HTML等前端开发技术，同时还研究了大数据开发技术大数据,HDFS,MapReduce等。
然后从电商销量数据大数据分析平台需求分析开始 ，到整体框架的设计以及各个详细功能的设计具体实现，最后基于大数据平台的电商用户行为数据分析系统的基础架构和详细功能已经大致开发完毕，并将其部署在Tomcat服务器当中运行，用户可以登录使用该系统进行电商用户行为数据的筛选，同时查询大数据的分析结果。
[1] 中国电子商务市场数据发布报告2020Q1&2020Q2e[A]. 上海艾瑞市场咨询有限公司.艾瑞咨询系列研究报告(2020 年第6期) [C]: 上海艾瑞市场咨询有限公司,2020:25.
[2] 刘维维,电信行业中基于数据仓库和数据挖掘技术的决策支持系统[D]中国科技信息,2006(07):180-181.
[3] 岳亚娜孟凡胜电商社交营销对策浅析[J]科技经济导刊2021,2901);169-170
[4] 任宏伟基于异常检测技术的数据防爬系统设计与应用.中国科学院大学(工程管理与信息技术学院).2016.
[5] 倪星字，基于大数据云计算平台的构建[J]，微型电脑应用，2020，36（12);103-105.
[6] 王玻璇MapReduce 下差分隐私保护技术研究与实现[D]南京邮电大学，2020.
[7] 郑楠，我国开放政府数据的价值增值方式解析[J]新西部(理论版)2016（13）:68.
[8]叶惠仙，基于HaopHle技术的电商销量网站数据分析研究口，网络安全技术与应用,202012)77-79.
[9] An efficient approach for land record classiffication and information retrieval in data warehouse. International journal of Computers and Applications 2021.（1）
[10]王佳珙大数据平台下调度算法及其改进策略研究[D]北京邮电大学,2016.
[11]张兴，基于大数据的云存储平台的研究与实现[D]电子科技大学.2013.
附 录
附录正文。
附录1 项目开发计划书
附录2 需求说明书
附录3 概要设计说明书
附录4 数据库设计说明书
附录5 详细设计说明书
附录6 模块开发说明书
附录7 单元测试报告
附录8 用户使用说明书
附录9 系统源代码（模块代码主体部分）
首先我在这里向养育和培养我的父母表示深深地思念和感谢，再向关心我，帮助我的老师和同学表示感谢！
能顺利圆满地完成我的设计，离不开自身的努力，离不开指导老师于忠德老师的指点，更离不开四川大学这个大环境四年来在学习和生活的熏陶和培养。
大四下学期开始不久，我开始了我的毕业设计。在这几个月里，我得到了导师于老师的关心和教导，于老师在学术上的渊博知识让我在这几个月的学习和研究中深受其益。我向于老师表示深深地谢意；再向和我进行讨论问题，让彼此相互帮助和学习工作的同学表示感谢；向软件学院实验室中，陪着我们度过几多光阴的管理员和老师表示谢意。
设计的完成，为我在川大的学习生涯画上了一个圆满的句号。在四川大学度过的美好时光将使我终生受益。
785
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
