基于Django的17K网络小说数据可视化分析系统的设计与实现-CSDN博客

本文链接：https://blog.csdn.net/laojin1234/article/details/140858000

摘要

随着大数据时代的到来，企业挖掘出隐藏巨大的数据价值给带来了更多的市场机会。大数据存储，处理和处理的研究已是企业未来发展的趋势，因此，将开展基于Django框架进行17K网络小说数据分析，搭建一个大数据集群平台，用于通过小说案例的存储，处理，分析和可视化展示的实验迎向困难该挑战。运用Django大数据技术，对用户的需求进行整理归纳，为用户提供智能化的阅读小说提供保障。

本文首先介绍了设计的背景与研究目的，其次介绍系统相关技术，重点叙述了系统功能分析以及详细设计，最后总结了系统的开发心得。

本论文的主要研究工作及取得的成果如下:

1.使用基于Python语言的网络爬虫,爬取了17K网络小说网站上的网络小说信息。对爬取到的原始数据进行数据清洗后存储到计算机上，然后使用分布式运算编程模型和Django对数据计算,最后将结果保存至MySQL中存储分析。

2、使用Django等软件开发技术开发系统后台,使用Pycharm开发工具构建程序工程，设计并成功开发出了一套基于Django的17K网络小说数据分析系统。

关键词：Django；17K网络小说数据分析；后台系统；Python

Abstract

With the arrival of the era of big data, enterprises have discovered the hidden huge data value, bringing more market opportunities. The research on big data storage, processing, and processing has become a trend in the future development of enterprises. Therefore, based on the Django framework, 17K network novel data analysis will be carried out, and a big data cluster platform will be built to meet the difficulties and challenges through experiments on novel case storage, processing, analysis, and visual display. Use Django big data technology to organize and summarize user needs, providing users with intelligent novel reading guarantees.

This article first introduces the background and research purpose of the design, then introduces the relevant technology of the system, focusing on the functional analysis and detailed design of the system, and finally summarizes the development experience of the system.

The main research work and achievements of this paper are as follows:

1. Using a Python language based web crawler, I crawled the online novel information on the 17K online novel website. The raw data crawled from the database is cleaned and stored on the computer. Then, the distributed computing programming model and Django are used to calculate the data. Finally, the results are saved to MySQL for storage and analysis.

2. Using software development techniques such as Django to develop the system background, and using Pycharm development tools to build program engineering, a 17K network novel data analysis system based on Django was designed and successfully developed.

Key words:

Django；17K online novel data analysis; Background system; Python

目录

4.2.3 17K网络小说数据可视化看板功能

1 绪论

1.1 课题背景

随着新时代下互联网技术的快速发展，个人阅读模式也发生了翻天覆地的变化，很多读者都把目光投向了互联网电子图书。在十二届全国人大三次会议上，李克强谈到“要把以互联网为载体、线上线下互动的新兴消费搞得红红火火”，这更表示越来越多的电子图书公司即将诞生。统计数据显示，2015 年中国电子图书市场规模即将突破六万亿元。如此巨大的规模和增长速度，不仅在电子图书业内引起广泛关注，同时也得到了大量风险投资资金的支持。

目前互联网小说网站数据一般有以下特点:

一，数据量增长迅猛:互联网的迅速发展，数据量正在以指数级增长，互联网公司每年都会产生大量的数据。以前没有并行存储计算的时候，这些数据要么丢弃掉，要么进行归档封存。

二，数据的多样性:我们传统意义上的数据可能会存储在数据库中的关系型数据，如用户信息，订单信息等。但目前数据格式上多种多样，特别是应用日志，很多都是以Json格式来进行存储。Json 格式数据中也会有List等等结构。所以数据结构的复杂程度也越来越高。

三，数据来源丰富:以前我们分析的数据基本都是存储在关系型数据库中。如Oracle或者Mysql.现在关系型数据库中的数据已经成为数据来源的一种方式。更多的数据来源于应用日志，打点数据。网站访问行为等数据。

基于以上三点，传统的关系型数据库已经没有办法来进行处理了。所以就迫切需要一种能够存储海量数据的分布式计算系统。Django便成为首选的技术解决方案。

1.2 课题研究的意义

电子图书运营环节中，数据分析和管理有着非常重要的地位。针对性数据分析，是根据产品信息数据分析产品的卖点，评估存在的价值，从而定制相应的资源分配计划和营销策略。合理准确的数据分析，可以为项目运营方提供客户的需求信息，分析客户消费行为的商务效益，为运营方的运营策略提供优化建议:还可以发现潜在用户，帮助运营方扩大商业规模，加速企业发展。而我们研究的课题就是基于Django的17K网络小说数据分析系统，不仅能够解决企业面临的大数据的存储，采集分析等方面的问题，更能在实时性方面有质的飞跃。把原来离线的处理分析演变成实时的处理分析。在激烈的市场竞争中能够抢占先机。更能整合用户消费、运营数据，为企业提供精准营销能力，改善用户体验。大数据作为一种新的驱动力，地位是不可替代的，能够利用大数据平台实现指导业务发展的小说企业必然会先发制人，对外、对内占尽先机。因此构建一套17K网络小说数据分析系统是非常必要的。

1.3 系统实现的功能

本次设计任务是要设计一个基于Django的17K网络小说数据分析系统的研究与实现，通过这个系统能够为用户提供更好的平台。

1.4 课题研究现状

目前越来愈多的企业开始搭建各自电子图书平台，国内包括顺丰、苏宁等都较早的从线下投入到线上平台建设，而在用户行为分析系统方面由于不同的企业有其数据的特殊性和敏感性，虽然包括谷歌、百度等都提供了数据分析工具及插件，因此提供一套能够结合笔趣阁平台自身业务的数据分析系统是十分有必要的。

国内研究概况：

2012年开始，我国互联网小说企业进入爆发增长期，行业竞争十分激烈，各企业也纷纷开始对产品数据的分析和研究，但仍处于初步阶段。目前国内较为主流的思想是使用Django平台作为产品数据存储的平台，在MapReduce 计算框架中部署用户行为分析模型，对数据进行离线计算。该系统的弱点:对离线计算和实时计算没有做到有效融合，网站整体统计数据与单个产品数据没有产生有价值的关联。局限于对网络在线数据的处理，对产品实时分析较少，不能产生精准的数据分析预测。不能做到分析结果的实时反馈，往往采用T+1或T+n的形式输出报告。由此可见，任何互联网小说无论是淘宝还是其他小说对于数据系统的搭建是非常迫切的。

国外研究概况：

国外对商城数据分析的研究起步于20世纪80年代，主要是通过研究用户的行为特征和规律来实现用户分析和网站优化。现在，在国外，用户行为分析已经可以通过对特定人群的行为特征分析，实现对网站和用户的精准聚合和分类，从而完成对网络体系的资源分配的优化。国外在大数据分析处理上还是处于领先地位的，也代表了未来大数据的发展趋势，引领着大数据技术潮流。

2系统相关技术

本文以Python为开发语言，利用了当前先进的后台框架，以Pycharm为系统开发工具，MySQL为后台数据库，开发的一个基于Django的17K网络小说数据分析系统的研究与实现。

2.1 Python语言介绍

基于Django的17K网络小说数据分析系统的研究与实现在前台管理网页效果中主要采用的是Python语言开发，现在越来越多的软件公司都使用Python语言来开发web端的应用。因为就目前的市场上网页制作模块来说，Python语言包含的内容是相对而言比较丰富全面的，而且Python语言已经成为现在市场上最为常见的开发技术。我们都知道Python语言是一种开发技术，它的开发是跨平台的，Python语言可以在Windows操作系统上运行也可以在Linux系统上运行。

Python是一门面向对象的编程语言，不仅吸收了C++语言的各种优点，还摒弃了C++里难以理解的多继承、指针等概念，因此Python语言具有功能强大和简单易用两个特征。Python语言作为静态面向对象编程语言的代表，极好地实现了面向对象理论，允许程序员以优雅的思维方式进行复杂的编程。

Python具有简单性、面向对象、分布式、健壮性、安全性、平台独立与可移植性、多线程、动态性等特点。Python可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等。

2.2 Mysql数据库介绍

MySQL 是一款安全、跨平台、高效的，并与 PHP、Python 等主流编程语言紧密结合的数据库系统。该数据库系统是由瑞典的 MySQL AB 公司开发、发布并支持，由 MySQL 的初始开发人员 David Axmark 和 Michael Monty Widenius 于 1995 年建立的。
MySQL 的象征符号是一只名为 Sakila 的海豚，代表着 MySQL 数据库的速度、能力、精确和优秀本质。

图2-1 MySQL图标

本系统采用的数据库是MySQL数据库，其目的是用来存储利用爬虫爬取到的大量17K网络小说数据数据集和数据处理之后的分析结果。

2.3 Scrapy爬虫技术

Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。

Scrapy是目前较为成熟的爬虫技术框架，一般采用Python语言开发程序，Scrapy用途广泛，Scrapy具有较为成熟的优点，且开发起来较为简便，只需要按照脚手架搭建，即可快速编程。

对于目前市场上较为流行的爬虫技术有Selenium,Scrapy等，但由于考虑到Scrapy框架开发较为方便，本文使用Scrapy技术进行原始数据的采集。

在本设计中，由于需要使用到电商网站的17K网络小说的原始数据，因此需要开发相应的网络爬虫程序完成对17K网络小说原始数据的采集，下图2-1为爬取苏宁易购网站的17K网络小说数据的原理流程图。

图2-2 Scrapy爬虫原理

Scrapy是一个适用爬取网站数据、提取结构性数据的应用程序框架，它可以应用在广泛领域：Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片。

尽管Scrapy原本是设计用来屏幕抓取（更精确的说，是网络抓取），但它也可以用来访问API来提取数据。

import scrapy

class QiubaiSpider(scrapy.Spider):

name = 'qiubai' #应用名称

#允许爬取的域名（如果遇到非该域名的url则爬取不到数据）

allowed_domains = ['https://www.17knovel.com/'] #我们一般情况下都会把给注释掉，

#起始爬取的url

start_urls = ['https://www.17knovel.com/']

#访问起始URL并获取结果后的回调函数，该函数的response参数就是向起始的url发送请求后，获取的响应对象.该函数返回值必须为可迭代对象或者NUll

def parse(self, response):

print(response.text) #获取字符串类型的响应内容

print(response.body)#获取字节类型的相应内容

修改内容及其结果如下：

19行：USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' #伪装请求载体身份

22行：ROBOTSTXT_OBEY = False #可以忽略或者不遵守robots协议

在pycharm终端里输入：scrapy crawl 爬虫程序名称 #这样就执行爬虫程序了，这种情况下是要打印日志的

scrapy crawl 爬虫程序名称 --nolog #这样就不会打印日志

还有一种方式：在最外层的project_name文件下新建一个start.py文件，名字随便写，在文件里写入：

from scrapy.cmdline import execute

execute(['scrapy', 'crawl', '爬虫程序名字','--nolog'])从此以后，我们每次只需要运行start文件，就可以让程序跑起来

2.4 B/S架构

B/S的系统是通过能上网的电脑就可以使用，它最大的优点是不需要安装专门的软件，首先浏览器向服务器发出请求，然后服务器处理请求把信息再返回给浏览器。不需要再次对数据进行存取与计算数据，只要负责显示数据来降低要求，如果说客户端像个“瘦子”，而服务器会越来越“胖”。B/S体系结构与C/S体系结构相比，最大的不同是：B/S体系的应用软件使用网络浏览器作为与用户交互的平台，而C/S则需要开发专用的应用程序。

当前MIS系统结构目前存在两种较为流行的结构:C/S和B/S两种。

C/S结构的系统：C/S结构就是客户机服务器结构，它可以法派任务到Client端和Server端来进行，充分利用两端硬件环境的优势，来降低系统的通讯的花费。客户端主要作用是处理人机交互，执行客户端应用程序，收集数据以及向服务器发送任务请求。服务器基本作用是执行后台程序，它主要对客户机的请求申请进行反馈，除此之外，它的作用还包括：数据服务预约储系统的共享管理、通讯管理、文件管理等等。

B/S结构的系统：这种网络结构简化了客户端，并把系统功能实现的中心集中到服务器上，在这种模式中，只需要一个浏览器就可以了。这种结构将很多的工作交于WEB服务器，只通过浏览器请求WEB服务，随后根据请求返回信息。

通常在网站网内部使用，采用C/S。而使用不仅限于内网的情况下使用B/S。考虑到本管理系统的一系列需求，所以，该系统开发使用B/S结构开发。

2.5 本章小结

本章主要分析了系统开发过程中使用到的技术点和框架，通过研究这些技术的原理后，在本设计中加以应用，包括用户小说平台信息采集的爬虫技术，数据持久化存储技术，以及基于Django框架的小说数据分析后台技术，同时本文还使用了较为流行的Echarts前端可视化技术。通过预研上述技术点并加以应用从而开发出基于Django的17K网络小说分析系统。

3 系统设计

3.1 系统设计流程

（1）明确目的

在设计招17K网络小说大数据分析平台初期需要了解如何获取17K网络小说数据原始数据是非常基础也是关键的一步。要了解大数据分析平台期望达到什么样的运营效果，从而在标签体系构建时对数据深度、广度及时效性方面作出规划，确保底层设计科学合理。

（2）数据采集

只有建立在客观真实的数据基础上，大数据计算分析的结果才有效。在采集数据时，需要考虑多种维度，比如不同17K网络小说数据平台数据，还可以通过行业调研、用户访谈、用户信息填写及问卷、平台前台后台数据收集等方式获得。

（3）数据清洗

就对于各大17K网络小说数据网站或者APP采集到的数据而言，可能存在非目标数据、无效数据及虚假数据，因而需要过滤原始数据，去除一些无用的信息以及脏数据，便于后续的处理。

（4）特征工程

特征工程能够将原始数据转化为特征，是一些转化与结构化的工作。在这个步骤中，需要剔除数据中的异常值并将数据标准化。

（5）数据计算

　在这一步我们将得到的17K网络小说数据网站数据存储到大数据分析平台，通过开发MapReduce程序对原始数据进行计算，将不同维度的结果存储到Mysql中。

（6）数据展示

　分析结果可以通过大数据后台展示到前端界面，对于普通用户而言，只需要登录到该后台系统，就可以获取到17K网络小说数据网站分析后的计算结果。

3.2 系统平台架构

3.1.1 系统功能

通过前面的功能分析可以将基于Django的图书借阅信息分析平台的研究与实现的功能主要包括用户登录、图书借阅信息管理、数据分析等内容。后台管理是针对已登录的用户看到满意的图书借阅数据分析而设计的。

3.2可行性研究

通过对系统研究目标及内容的分析审察后，提出可行性方案，并对其进行论述。主要从技术可行性出发，再进一步分析经济可行性和操作可行性等方面。

3.2.1 经济可行性

开发系统所涉及到的资料，一般是在图书馆查阅，或是在网上进行查找收集。所需要的一些应用软件也都是在网上可以免费下载的，因此，开发成本是几乎为零。但是开发出来的系统，还是具有高效率，低成本，较高质量的。所以，从经济可行性的角度，该系统符合标准。

3.2.2 技术可行性

技术可行性是考虑在现有的技术条件下，能否顺利完成开发任务。以及判断现有的软硬件配置是否能满足开发的需求。而本系统采用的是Django开发框架，并非十分困难，所以在技术上是绝对可行的。此外，计算机硬件配置是完全符合发展的需要。

3.2.3 运行可行性

当前计算机信息化的知识已经十分普及了，现在的操作人员也都是对系统环境有很强的适应性，各类操作人员大都是有过培训补充的，因此完全不影响组织结构，所以在运行上也是可行的。

3.2.4 时间可行性

从时间上看，在大四的最后一个学期，在实习工作与完成毕设两件大事相交叉的时间里，结合之前学习的相关知识，并开发系统，时间上是有点紧，但是也不是完全没可能实现，通过这段时间的努力功能基本实现。

3.3 数据库设计

本系统采用模块化设计理念，面向对象的编程思想，实现系统各个模块的共功能，先将系统的总框架描绘出来，将功能模块嵌入框架中并描绘出流程图，逐步精确。

3.4 本章小结

本章主要分析了基于Django的17K网络小说数据分析系统开发过程中使用到的技术和具体的实现步骤，这其中主要介绍了Scrapy爬虫框架的搭建环境和具体爬虫流程，包括程序中的一些核心配置等，在获取到爬虫数据后，通过 MapReduce框架对爬虫数据进行分析和计算，并详细介绍了MapReduce程序的核心编程步骤。本章我们已完成数据的采集和分析工作，为后文的数据分析可视化系统奠定了数据基础。

4 后台系统实现

本文设计的基于Django的17K网络小说数据信息分析系统的后台系统采用的是Django框架实现的，这是一种MVC模式的开发框架，通过在表现层接收前端传入的参数，再调用Service进行不同业务的处理，最后去操作数据库进行数据的CRUD，从而实现指定的功能。前端使用的是html展示,在数据持久层使用的是MySQL数据库。

4.1 开发环境与配置

4.1.1 开发环境

本系统设计基于 B/S 架构，其中服务器包括应用服务器和数据库服务器。这种架构模式，使用户只需要在有网络的地方即可通过浏览器访问，而不需要再安装客户端软件，交互性更强。基于Django的17K网络小说数据信息分析平台使用Pycharm 集成开发工具。本系统的主要开发环境以及开发工具如表 4-1 所示。

表4-1 系统开发环境和工具

项目	系统环境及版本
硬件环境	Windows 64 位操作系统
开发语言	Python
Web服务器	本地
数据库	MySql
开发工具	Pycharm
项目架构	Django

4.1.2 框架配置介绍

本系统使用集成开发工具 Pycharm进行开发，由于 Pycharm中Tomcat配置详细资料有很多，不做详细赘述。

4.1.3 数据库的设计

整个系统的最重要的一部分就是对数据持久层的设计，因为整个系统的每个操作，包括注册登录，查询，展示其实都是对数据库的操作，因此如何设计一个健壮，扩展性强的数据库是非常必要的。

4.2 系统功能模块实现

4.2.1登录认证

当用户执行登陆操作时，后台会从前端传过来的参数中拿到用户名和密码，并查询数据库，通过findUserByName方法查询该用户的密码字段，再将查询的结果和前端传过来的密码参数字段进行比对，如果相同，则匹配成功用户直接跳转到登录成功后的欢迎界面；如果匹配失败则需提前前端继续输入正确的密码直到登录成功。用户登录具体流程如时序图如4-2所示。

一

图4-2登录认证流程图

17K网络小说数据信息Django分析系统的用户登录界面如下图所4-3所示：

图4-3用户登录界面

登陆成功后，系统会成功跳转至首页，在首页中，位于上方的横栏是对本系统的基本信息的描述和欢迎登录效果，另外登录用户的用户名也会显示在首页中，可直接表明用户已成功登录。左侧则是本系统的导航菜单，可折叠展示，较为方便，右方则为欢迎页效果。17K网络小说数据信息Django分析系统的首页界面如下图所4-4所示：

图4-417K网络小说数据信息系统首页界面

4.2.2 17K网络小说数据排行榜功能

17K网络小说数据信息管理功能是对17K网络小说数据信息进行查询，删除等操作的功能集合，17K网络小说数据信息管理功能使用到了17K网络小说数据信息表t_xiaoshuo, 17K网络小说数据信息表t_xiaoshuo的主要数据字段，结构，类型及描述如下表4-2所示。

表4-2 17K网络小说数据信息表字段

字段名称	数据类型	是否允许为空	描述
id	int	不允许	自增主键，唯一ID
title	String	允许	小说名称
price	String	允许	小说作者
brand	String	允许	所属类型
model	String	允许	阅读量
shop_name	String	允许	出版社名称
comment_count	String	允许	点击数
url	String	允许	小说详情URL
crawl_date	String	允许	爬取时间

17K网络小说数据信息管理

功能流程功能图如图3-6所示：

图4-617K网络小说数据信息管理功能流程图

通过“17K网络小说数据信息管理”按钮，进入17K网络小说数据信息界面，用户可以看到17K网络小说数据列表，例如：品牌、作者、总点击、总推荐、小说详情、小说时间的详细信息。通过此界面，用户可以对小说数据信息进行删除管理操作。

4.2.3 17K网络小说数据可视化看板功能

数据可视化模块就是对我们采集和计算的分析结果的展示。数据分析模块的数据进行一个精美而又直接的展示，我们采用大屏的方式进行展示，展示数据结构分明，背景具有科技感，把相对复杂的、抽象的数据通过可视的、交互的方式进行展示，从而形象直观地表达数据蕴含的信息和规律。

17K网络小说数据信息Django看板界面如图4-7所示。

图4-717K网络小说数据信息主界面

17K网络小说数据信息Django分析可视化看板的功能较为丰富，由图可知，用户在登录本系统后，可以很清楚的读懂目前市场上的小说行情，如什么品牌的17K网络小说数据最高，那个价格区间的17K网络小说数据最高等等，这对用户而言是十分关注的，因此如何开发出美观的可视化界面也是一项不可或缺的工作。本文使用了图形，表格，地图等各种方式联动数据，十分直观。另外本文使用了Echarts中地图、线条等组件，将分析结果较为直观的展示给平台用户，使得用户能够简便的获取有效的信息。

4.3 本章小结

本章主要分析了基于Django的17K网络小说数据分析系统的设计与实现系统开发过程中使用到的技术和具体的实现步骤，这其中主要介绍了17K网络小说数据Django分析平台的搭建环境和开发步骤，包括程序中的一些数据库配置等。前端页面采用的是html实现。

5 总结与心得体会

5.1 系统开发遇到的问题

（1）在网络爬虫开发的过程中，由于企业网站会设置反爬虫操作，很多17K网络小说17K网络小说发布网站的前端页面代码会更改，包括页面的整体结构和局部的标签都进行了细微的改变，甚至有一小部分业务逻辑也进行了改变，进而导致之前前期己完成的开发爬虫代码无法长期使用，需要定期维护和修改。
（2）由于基于大数据17K网络小说信息分析平台是由本人独立开发，因此在系统设计和业务逻辑方面更多地借鉴了目前市场上较为流行的框架和技术点，包括大数据技术，很多是不熟悉没接触过的，在开发过程中不断学习新知识。另外由于本人的时间和精力的原因，在系统开发过程中有很多地方可能并不能够完全尽如人意，还有许多需要补充的功能与模块。

5.2 总结与展望
为保证有足够的技术能力去开发本系统，首先本人对开发过程中所用到的工具和技术进行了认真地学习和研究，详细地钻研了基于Django的17K网络小说数据分析系统的研究以及 Django等软件开发技术，同时还研究了大数据Django技术等。
从基于Django的17K网络小说数据景点推荐的系统需求研究分析开始，到整体框架的设计以及各个详细功能的设计具体实现，最后到Django的17K网络小说数据景点推荐基础架构和详细功能已经大致开发完毕，并将其部署在Tomcat服务器当中运行，用户可以登录使用该系统进行情感信息的筛选，同时查询大数据的分析结果。本系统的开发与设计能够一定程度上解决用户面对错综复杂的情感信息难以辨别真伪等问题，让用户可以便携的查询结果，但由于本人的时间和精力的原因，本系统还有部分功能需要完善，如爬取更多17K网络小说数据网站的数据，更多维度去分析数据结果等，本人将会在后续完善这些工作。

5.3 心得体会

然后从17K网络小说数据大数据分析平台需求分析开始，到整体框架的设计以及各个详细功能的设计具体实现，最后基于大数据平台的17K网络小说信息分析系统的基础架构和详细功能已经大致开发完毕，并将其部署在Tomcat服务器当中运行，用户可以登录使用该系统进行17K网络小说信息的筛选，同时查询大数据的分析结果。

整个课程设计终于完成了，完成的好辛苦，好艰难，但还是顺利的完成了。我们付出了很多心血和汗水，但我认为我们得到的更多。如果没有同学们的互相帮助，这次课程设计就不会这么顺利，这种同舟共济的团队精神深深震撼了我，《礼记学记》上也有讲过：“独学而无友，则孤漏而寡闻”。同时有些同学积极的态度让我感到一丝惭愧，他们所体现出的坚持不懈的品质更令我折服。当然这次程序设计也让我看到了自己基础的薄弱。古人有诗云：“路漫漫其修远兮，吾将上下而求索”。从今天起我将不断继续求索，学习之路也好，人生之路也罢，总之我受益匪浅。

参考文献

[1]李红,夏咏梅,刘琳. 大数据背景下去哪儿网客户关系管理研究[C]. 劳动保障研究会议论文集（六）.2020.

[2]邹鹏. 互联网数据分析系统的研究[J]. 中外企业家,2018,(7).

[3]卢爱芬. 基于Django的大数据处理系统分析与研究[J]. 现代信息科技,2020,(2).

[4]于淑云,林姝敏. 基于Django的大数据用户行为分析系统[J]. 北京信息科技大学学报(自然科学版),2018,(5).

[5]任璇炫. 基于Django的东盟电子图书平台的研究与设计[J]. 全国流通经济,2020,(24).

[6]李依潼,王骥,任肖丽. 基于Scrapy的小说数据分析系统设计与实现[J]. 电子技术与软件工程,2020,(2).

[7]冯传新,杨保华. 基于scrapy框架的笔趣阁数据分析系统设计与实现[J]. 价值工程,2018,(28).

[8]苏杰. 基于UML的在线商城的分析与设计[J]. 电脑知识与技术,2020,(11).

[9]罗嘉龙,苏毓洲,方健炜,陈正铭. 基于大数据分析技术的用户行为分析平台设计与实现[J]. 电脑知识与技术,2019,(35).

[10]罗雨馨,姜攀. 基于大数据技术的小说精准推送系统设计与实现[J]. 电脑编程技巧与维护,2019,(12).

[11] 闵敏. 基于聚类协作过滤的小说个性化推荐系统的实现[J]. 制造业自动化,2010,32(2):157-160.