django基于python的影片数据爬取与数据分析

摘 要

快速发展的社会中，人们的生活水平都在提高，生活节奏也在逐渐加快。为了节省时间和提高工作效率，越来越多的人选择利用互联网进行线上打理各种事务，通过线上管理影片数据爬取与数据分析也就相继涌现。与此同时，人们开始接受方便的生活方式。他们不仅希望页面简单大方，还希望操作方便，可以快速锁定他们需要的影片数据爬取与数据分析方式。基于这种情况，我们需要这样一个界面简单大方、功能齐全的系统来解决用户问题，满足用户需求。
课题主要分为两大模块：即管理员模块和用户模块，主要功能包括系统首页、个人中心、用户管理、电影管理、系统管理等；
关键词：影片数据爬取与数据分析；简洁方便直观；

1系统需求分析

3.1需求分析概述
影片数据爬取与数据分析主要是为了提高用户的工作效率，满足用户对更方便、更快、更好地存储所有信息和数据检索功能的要求。通过对多个影片数据爬取与数据分析网站的合理分析，确定了影片数据爬取与数据分析的各个模块。考虑到用户的可操作性，经过深入调查研究，遵循系统优化和开发的原则。
为了实现当前网络的分析功能和便利性，影片数据爬取与数据分析使客户能够在平台上直接查看他们需要的数据信息，不仅可以节省管理时间，还可以改变传统的管理模式。由于时间有限，很难亲自会面和沟通，因此很难满足客户的需求。因此，迫切需要开发一个影片数据爬取与数据分析，以满足用户的需求，提高用户的使用率。影片数据爬取与数据分析必须更快、更有效地向用户或潜在用户提供信息。为影片数据爬取与数据分析建立更好的沟通平台，提高用户信息交流系统的服务效率。该系统可以满足大多数用户提出的问题，用户可以根据自己的需要获得相应的服务，为影片数据爬取与数据分析提供了一条快捷的途径。

3.2可行性分析
影片数据爬取与数据分析研发出来可以为广大人民群众解决影片数据爬取与数据分析管理的问题，大大降低人民时间成本，不需要将无谓的时间浪费在道路上，并且影片数据爬取与数据分析可以更大化的将信息展露在人们的眼前供其选择。它是一款多用户使用的系统，比较符合业务逻辑，是通过互联网解决复杂和单调问题的典型案例。
3.2.1技术可行性
技术可行性是分析系统都需要用到哪些技术知识，语法是否规范标准，代码量多大，是否具有可移植性，基于python的影片数据爬取与数据分析能够真正的实现数据层和表示层的分离[6]，以及页面是否可以做到美观实用，是否吸引眼球。网站是否足够稳定，后端管理页面是否足够方便管理，数据库的构建是否可以符合系统要求，是否需要搭建集群等等。
3.2.2经济可行性
通过结合以上对系统的技术和可行性分析来判断对系统经济状况的预算是否大于系统开发资金的比例。因此，通过分析系统的业务模式和开发者模式，不会浪费大量资金，系统的使用价值大于资本价值[7]。
3.2.3运营可行性
可操作性是指将系统开发所涉及到的所有功能全都实现，代码收尾工作完成后对用户消费水平，系统的业务能力是否与用户消费水平所对等，是否可以满足大部分消费者的需求，页面是否美观，能否让用户满意，代码显示是否为轻量级，操作和功能是否简单便捷，是否同时适用。系统能否同时应用于windows、linux等操作系统，这取决于系统的可移植性。python语言的适应性非常强，基本上能够较好的适应目前市场环境中所流行的各个平台[8]。也就是说python的可移植性很强，那么系统的价值越高，可行性也就越强。
3.2.4法律可行性
该影片数据爬取与数据分析是面向大众开源化和不收取任何费用的。它的主要目的是帮助人们解决影片数据爬取与数据分析问题。完全符合法律可行性要求，系统内部权限划分不会导致内部用户泄露系统机密。对于用户信息，系统有保护措施，用户密码在数据库中加密，并有严格的自我控制和商品价格解释。
3.3系统功能需求分析
在功能方面，不需要用户在指定场所进行影片数据爬取与数据分析，要保证可以在很大程度上满足用户解决影片数据爬取与数据分析问题，满足用户需求，改善人们生活。
3.3.1系统功能概述
管理页面：管理员和用户都可以登录。通过输入账号和密码后，校验无误后方可进入对应的主界面，管理员可对用户使用的权限管理，以及对网站信息进行管理[9]。
3.3.2系统用例分析
本课题要求实现一套基于python的影片数据爬取与数据分析，系统主要包括管理员和用户两大功能模块。
（1）管理员用例图如下所示：

图3-1管理员用例图
（2）用户用例图如下所示：

图3-2用户用例图
3.4系统其他需求分析
3.4.1性能要求
在开发了一个功能较为良好系统之后，首要考虑的就是它的性能要求，比如当用户使用它进行点击或提交功能时，它会产生多久的延迟，系统响应速度快不快，如果短时间同时有较多用户访问网站是否会产生系统崩溃，是否采用高并发接口，另外，存储功能进行中的代码量是否满足算法和数据结构，以及是否占用较大内存等：
（1）系统应具备快速的反映时间，对于并发特征得到解决[10]。
（2）系统对用户密码是否进行了加密并进行大量安全处理。
（3）系统代码量是否简洁，不会占用计算机太多内存。
3.4.2安全要求
对于安全要求要进行可靠性分析，可靠性分析有利于可实现安全性、可靠 性设计与系统功能设计在数据源上的统一[11]。就本系统的安全性能而言，数据的账户和密码需要以明文形式显示，并严格加密。更改密码、修改个人数据、添加信息需要相应权限。
3.4.3作业环境要求
（1）系统：Windows系统足够，兼容性强
（2）Web服务器：内置tomcat，无需安装、运行和使用
（3）数据库服务器：MySQL 5.5及以上，图形界面为SQLYG
（4）浏览器：谷歌或Firefox开发者浏览器
（5）JDK1.8及以上，内置插件maven等。
3.5系统流程分析
（1）个人信息流程图
用户在成功进入系统以后，可以获得姓名，性别，联系电话等个人信息。获得个人信息的流程见图3-3所示。

图3-3个人信息流程图流程图
用户进行登录操作的流程图如图3-4。

3.6本章小结
本章主要介绍影片数据爬取与数据分析的使用案例和系统的相关可行性要求。我已经从技术、经济、法律和运营四个方面确认了该系统可以在线运行。

2 系统设计

4.1系统结构图
影片数据爬取与数据分析分为两个部分，即管理员和用户。该系统是根据用户的实际需求开发的，贴近生活。从管理员处获得的指定账号和密码可用于进入系统和使用相关的系统应用程序。管理员拥有最大的权限，其次是用户。管理员一般负责整个系统的运行维护和总体协调。
系统结构如图4-1所示。

图4-1系统结构图
4.2数据库设计
所有的网站设计但凡有数据都离不开数据库，数据库是所有项目想实现如数据获取，数据传输等功能的基石。只有合理化的数据库设计才能满足商业化的要求，数据库的主键外键连接方式特别的重要，尽量避免多对多的复杂性，字段名合理规范，且通俗易懂等，字段应根据业务进行设定，不允许操作多字段而对系统产生占用多余的内存。
4.2.1数据库设计原则
设计原则自然就是要符合范式的要求，多表之间的关系要合理，理应符合系统的实际情况。
4.2.2数据库的概念设计
概念设计是将整体分为在地面上表达出来的单个个体。E-R图形象的连接了实体模型和概念模型。因此，E-R图需要根据数据库表和表字段进行合理设计，表达的概念知识点用图形描述，可以直观地让相应人员清楚，并分解整个E-R图[13]。我们通常表达不清晰没有概念的东西。但是通过E-R之间的联系，E-R模型法是对这种模糊概念的事务最简单、最常用的设计方法。
(1) 用户实体属性图如下图4-2所示。

图4-2用户实体属性图
(2) 电影实体属性图如下图4-3所示。

图4-3电影实体属性图

4.2.3数据库表设计
数据库表的设计通常是根据业务逻辑设置的。数据库模型在数据库中设计，并根据模型创建数据库表[14]。
表4-1：用户
字段名称 类型 长度 字段说明 主键 默认值
id bigint 主键 主键
addtime timestamp 创建时间 CURRENT_TIMESTAMP
yonghuming varchar 200 用户名
xingming varchar 200 姓名
mima varchar 200 密码
xingbie varchar 200 性别
lianxidianhua varchar 200 联系电话

表4-2：用户表
字段名称 类型 长度 字段说明 主键 默认值
id bigint 主键 主键
username varchar 100 用户名
password varchar 100 密码
role varchar 100 角色 管理员
addtime timestamp 新增时间 CURRENT_TIMESTAMP

表4-3：关于我们
字段名称 类型 长度 字段说明 主键 默认值
id bigint 主键 主键
addtime timestamp 创建时间 CURRENT_TIMESTAMP
title varchar 200 标题
subtitle varchar 200 副标题
content longtext 4294967295 内容
picture1 longtext 4294967295 图片1
picture2 longtext 4294967295 图片2
picture3 longtext 4294967295 图片3

表4-4：电影
字段名称 类型 长度 字段说明 主键 默认值
id bigint 主键 主键
addtime timestamp 创建时间 CURRENT_TIMESTAMP
daoyan varchar 200 导演
bianju varchar 200 编剧
zhuyan longtext 4294967295 主演
leixing varchar 200 类型
diqu varchar 200 地区
yuyan varchar 200 语言
shangyingriqi varchar 200 上映日期
pianchang varchar 200 片长
pingfen varchar 200 评分
xiangqing longtext 4294967295 详情
fengmian longtext 4294967295 封面
mingcheng varchar 200 电影名称
laiyuan varchar 200 来源

表4-5：配置文件
字段名称 类型 长度 字段说明 主键 默认值
id bigint 主键 主键
name varchar 100 配置参数名称
value varchar 100 配置参数值

4.3本章小结
通过本章针对影片数据爬取与数据分析功能的总体结构、E-R属性图和数据表的大概介绍，对在开发系统时所要涉及到的数据库进行简单设计，为下一章系统的实现做好铺垫。

3系统的实现

5.1系统登录注册实现
系统登录，在登录页面选择需要登录的角色，在正确输入用户名和密码后，进入操作系统进行操作；系统登录界面如图5-1所示：

图5-1 系统登录界面

用户注册：在登录页面注册按钮，进入用户注册界面，输入用户信息点击注册进行用户注册操作，用户注册界面如图5-2所示：

图5-2 用户注册界面

5.2管理员模块实现
管理员进入主页面，主要功能包括对系统首页、个人中心、用户管理、电影管理、系统管理等进行操作。管理员主界面如图5-3所示：

图5-3 管理员主界面