爬虫-基于python的旅游数据可视化-计算机毕业设计源码81319

摘要

信息化社会内需要与之针对性的信息获取途径,但是途径的扩展基本上为人们所努力的方向,由于站在的角度存在偏差,人们经常能够获得不同类型信息,这也是技术最为难以攻克的课题。针对旅游数据可视化等问题,对旅游数据可视化进行研究分析,然后开发设计出旅游数据可视化以解决问题。

旅游数据可视化主要功能模块包括景点数据、热门景点,采取面对对象的开发模式进行软件的开发和硬体的架设,能很好的满足实际使用的需求,完善了对应的软体架设以及程序编码的工作,采取MySQL作为后台数据的系统用户、管理员主要存储单元,采用flask框架、 python技术进行业务系统的编码及其开发,实现了本系统的全部功能。本次报告,首先分析了研究的背景、作用、意义,为研究工作的合理性打下了基础。针对旅游数据可视化 的各项需求以及技术问题进行分析,证明了系统的必要性和技术可行性,然后对设计系统需要使用的技术软件以及设计思想做了基本的介绍,最后来实现旅游数据可视化 和部署运行使用它。

关键词:旅游数据可视化 ; python ; MySQL

Abstract

In the information society, there is a need for targeted access to information, but the expansion of access is basically the direction people are striving for. Due to the deviation in perspective, people often can obtain different types of information, which is also the most difficult topic for technology to overcome. Aiming at tourism data visualization and other issues, research and analyze tourism data visualization, and then develop and design tourism data visualization to solve the problem.

The main functional modules of tourism data visualization include scenic spot data and popular scenic spots. The object-oriented development model is adopted for software development and hardware installation, which can well meet the actual use needs. The corresponding software installation and program coding work are improved. MySQL is used as the main storage unit for system users and administrators of background data, and the flash framework is adopted Python technology is used to code and develop business systems, achieving all the functions of this system. This report first analyzes the background, role, and significance of the research, laying a foundation for the rationality of the research work. This article analyzes the various requirements and technical issues of tourism data visualization, proves the necessity and technical feasibility of the system, and then gives a basic introduction to the technical software and design ideas needed to design the system. Finally, it aims to achieve tourism data visualization and use it for department operation.

Keywords: Tourism data visualization; python ; MySQL

  录

1 引言 5

1.1 研究目的 5

1.2 研究内容 5

1.3 Flask框架 5

1.4 B/S体系工作原理 6

1.5 Mysql描述 7

2 旅游数据可视化的需求分析 8

2.1 系统可行性分析 8

2.1.1技术可行性分析 8

2.1.2经济可行性分析 9

2.1.3操作可行性分析 9

2.2 系统流程分析 10

2.2.1数据增加流程 10

2.2.2数据修改流程 10

2.2.3数据删除流程 11

2.3 系统需求分析 11

2.3.1功能需求分析 11

2.3.2非功能性需求分析 12

2.4 系统用例分析 12

3 旅游数据可视化总体设计 13

3.1系统架构设计 13

3.2系统顺序图设计 14

3.2.1登录模块顺序图 14

3.2.1添加信息模块顺序图 15

3.3系统功能模块设计 15

3.4数据库设计 16

3.4.1数据库概念结构设计 16

3.4.2数据库逻辑结构设计 7

4 关键模块的设计与实现 22

4.1首页模块 22

4.2注册模块

4.3登录模块

4.4用户管理模块 24

4.5景点数据管理模块

4.6公告管理模块

4.7热门景点管理模块

5 系统测试 30

5.1 系统测试的目的 30

5.2系统测试用例 30

5.2系统测试结果 31

6  结论 32

参考文献

致谢

1 引言

1.1 研究目的

随着互联网信息技术的不断增长,带来了大量的互联网数据处理数据和发现数据背后的信息已经成为诸多行业都在面临的巨大难题。随着我国经济的不断发展我国的旅游行业也进入到了蓬勃发展的时期。与此同时,旅游电子商务同样也带来了非常巨大的旅游数据,传统的数据分析方法已经没有办法满足当前旅游业对旅游数据的分析要求,而数据可视化是目前一种常见且有效的数据分析手段,越来越多的行业通过数据可视化方式对数据进行分析。

1.2 研究内容

旅游数据可视化的开发及实现,所需要的工作内容:

(1)首先是确定选题,确定好所要做的系统,并对系统的背景及现在面临的一些问题等进行系统的初步确认。

(2)系统确认完成后,结合系统开发的需求进行确认系统开发所使用的技术,旅游数据可视化的开发使用flask框架,数据库进行平台的搭建开发,确认好使用的技术进行技术分析,所使用的技术是否可以完成系统的实现。

(3)确定好系统使用的技术,进行在线确认系统所划分的用户触,并且根据用户触划分确定所要设计的功能模块,对旅游数据可视化的设计主要划分别为管理员和用户触,并所使用的功能模块也相应不同,但系统的数据库实现的内容是交互的,你可以随时根据自己的需求进行景点数据搜索,对于系统工作人员可以根据自己的分管内容进行热门景点的处理及操作,管理员获取到所有用户的详细数据信息,并根据需求进行第一时间处理解决。

(4)系统的功能模块确认完成后进行程序及界面的设计,设计完成后,组通过测试来判断程序是否完善,对于系统测试,要不同的用户进行不同的内容编辑及提交,及使用不同的测试方式找出程序中存在的漏洞,并对程序出现的漏洞问题进行在线解决处理,如果测试系统没有任何问题时,可以将系统上传进行正式操作使用。

1.3Flask框架

Flask是一个轻量级的可定制框架,使用Python语言编写,较其他同类型框架更为灵活、轻便、安全且容易上手。它可以很好地结合MVC模式进行开发,开发人员分工合作,小型团队在短时间内就可以完成功能丰富的中小型网站或Web服务的实现。另外,Flask还有很强的定制性,用户可以根据自己的需求来添加相应的功能,在保持核心功能简单的同时实现功能的丰富与扩展,其强大的插件库可以让用户实现个性化的网站定制,开发出功能强大的网站。

Flask是目前十分流行的web框架,采用Python编程语言来实现相关功能。它被称为微框架(microframework),“微”并不是意味着把整个Web应用放入到一个Python文件,微框架中的“微”是指Flask旨在保持代码简洁且易于扩展,Flask框架的主要特征是核心构成比较简单,但具有很强的扩展性和兼容性,程序员可以使用Python语言快速实现一个网站或Web服务。一般情况下,它不会指定数据库和模板引擎等对象,用户可以根据需要自己选择各种数据库。Flask自身不会提供表单验证功能,在项目实施过程中可以自由配置,从而为应用程序开发提供数据库抽象层基础组件,支持进行表单数据合法性验证、文件上传处理、用户身份认证和数据库集成等功能。Flask主要包括Werkzeug和Jinja2两个核心函数库,它们分别负责业务处理和安全方面的功能,这些基础函数为web项目开发过程提供了丰富的基础组件。Werkzeug库十分强大,功能比较完善,支持URL路由请求集成,一次可以响应多个用户的访问请求;支持Cookie和会话管理,通过身份缓存数据建立长久连接关系,并提高用户访问速度;支持交互式Javascript调试,提高用户体验;可以处理HTTP基本事务,快速响应客户端推送过来的访问请求。Jinja2库支持自动HTML转移功能,能够很好控制外部黑客的脚本攻击。系统运行速度很快,页面加载过程会将源码进行编译形成Python字节码,从而实现模板的高效运行;模板继承机制可以对模板内容进行修改和维护,为不同需求的用户提供相应的模板。目前Python的web框架有很多。除了Flask,还有django、Web2py等等。其中Django是目前Python的框架中使用度最高的。但是Django如同java的EJB(EnterpriseJavaBeansJavaEE服务器端组件模型)多被用于大型网站的开发,但对于大多数的小型网站的开发,使用SSH(Struts+Spring+Hibernat的一个JavaEE集成框架)就可以满足,和其他的轻量级框架相比较,Flask框架有很好的扩展性,这是其他Web框架不可替代的。

1.4B/S体系工作原理

B/S架构采取浏览器请求,服务器响应的工作模式。

用户可以通过浏览器去访问Internet上由Web服务器产生的文本、数据、图片、动画、视频点播和声音等信息;

而每一个Web服务器又可以通过各种方式与数据库服务器连接,大量的数据实际存放在数据库服务器中;

Web服务器上下载程序到本地来执行,在下载过程中若遇到与数据库有关的指令,由Web服务器交给数据库服务器来解释执行,并返回给Web服务器,Web服务器又返回给用户。在这种结构中,将许许多多的网连接到一块,形成一个巨大的网,即全球网。而各个企业可以在此结构的基础上建立自己的Internet。

在 B/S 模式中,用户是通过浏览器针对许多分布于网络上的服务器进行请求访问的,浏览器的请求通过服务器进行处理,并将处理结果以及相应的信息返回给浏览器,其他的数据加工、请求全部都是由Web Server完成的。通过该框架结构以及植入于操作系统内部的浏览器,该结构已经成为了当今软件应用的主流结构模式。

1.5 Mysql描述

现在Mysql数据库在网络上它可以支撑许多个用户,而且也可以适应客服机和服务器的部署或者配置等,我们这里的服务器和客户机其实就是一种软件上的概念,并且我们使用的计算机硬件也与他们不存在一一对应的关系。

Mysql是一款非常流行的关系型数据库管理系统,它的出现一直都是佼佼者,它不仅功能非常强大,而且使用起来非常方便,并且Mysql的跨平台能力也很好,软件开发人员非常喜欢它的这些强大的优点。不同于其他关系型数据库,对于数据库的管理它有着自己的一套方案,通过对用户设定相应的权限和角色来达到对数据库的管理。由此可见,Mysql是一个能够适用于吞吐量高,可靠性高,效率高的一款数据库管理软件。

优点一:Mysql中对于不同身份的用户都设定其不同的权限来完成不同的业务逻辑,这使得Mysql在安全和完整性远远超出了其他关系型数据库。

优点二:对于那些动画、图形和声音的数据类型Mysql也可以支持,这说明多数据类型Mysql也是可以支持的。

优点三:Mysql还可以做到多个平台的开发,软件开发的多种编程语言都可以实现对Mysql数据库的操作。

2 旅游数据可视化的需求分析

2.1 系统可行性分析

2.1.1技术可行性分析

旅游数据可视化在数据的存储上使用的MYSQL数据库,在旅游数据可视化开发中使用了了python、HTML、pycharm、Flask这些开发工具的使用,能够给我们的编写工作带来许多的便利。系统使用B/S模式进行开发,使系统的可扩展性和维护性更佳,减少系统配置代码,简化编程代码,目前B/S模式是目前最受欢迎的一种模式。

2.1.2经济可行性分析

在开发旅游数据可视化中所使用的开发软件像pycharm开发工具、tomcat服务器、Flask开发框架、MySQL5.7数据库、Photoshop图片处理软件等,这些环境从网上就能免费下载,而且网上都有安装的教程,根据教程一步一步的操作,就可以安装成功,不需要花任何费用,并且旅游数据可视化是自己设计并编码实现的,数据库是使用流行mysql进行数据的存储,开源的mysql等技术的使用,减少系统开发费用。

2.1.3操作可行性分析

此次项目设计的时候我参考了很多类似系统的成功案例,对它们的操作界面以及功能都进行了系统的分析,将众多案例结合在一起,突出以人为本简化操作,所以具有基本计算机知识的人都会操作本项目。因此操作可行性也没有问题。

2.2 系统流程分析

业务流程是用一些特定的符合和线条来进行演示用户在使用系统时的过程,在进行系统分析的时候,业务流程可以帮助开发人员更好的理解业务,发现错误,完善系统。

2.2.1 数据增加流程

用户成功登入系统后能够实现增加数据的操作,增加数据的编号是特定的,系统生成,用户不能随意填写,除了编号以外,其他增加信息用户自己填写,填写后的信息经过系统验证,验证合法通过就显示增加数据成功了,相反的话,就没有增加成功,图2-1显示的就是在增加数据时的流程。

图2-1  数据增加流程图

2.2.2 数据修改流程

数据修改时的流程和上面介绍的数据增加时的流程差不多,如图2-2所示。

图2-2  数据修改流程图

2.2.3 数据删除流程

如果系统里面存在一些没有用的数据的话相关的管理人员还可以对这些数据进行删除,图2-3就是数据删除时的流程图。

图2-3  数据删除流程图

2.3 系统需求分析

2.3.1功能需求分析

旅游数据可视化划分为了管理员以及用户管理模块这两大部分。

系统用户管理模块:

(1)系统用户注册登录:游客可以随时进入到系统中,对系统中的信息浏览,但是想要实现景点数据以及热门景点等操作,就必须有这个系统的账号,如果没有账号的话,可以注册以后进行相关的操作,同时用户还可以通过“我的”这以按钮对个人信息以及操作的信息进行管控。

(2)查看旅游数据可视化的首页信息:旅游数据可视化的首页信息包含了首页、公告、旅游资讯、个人账户、个人收藏、景点数据、热门景点。

(3)公告:用户可以查看后台管理员发布的公告信息,在查询到自己想要了解的公告的时候,可以进入查看详细的介绍。

(4)旅游资讯:用户可以查看旅游资讯信息,在查询到自己想要了解的旅游资讯的时候,可以进入查看详细的介绍进行评论、点赞、收藏操作。

(5)热门景点:用户可以查看热门景点信息支持通过搜索关键词的方式对热门景点进行查询,在查询到自己想要了解的热门景点的时候,可以进入查看详细的介绍。

(6)个人账户:在前台点击“个人账户”可以对个人资料+密码修改+自己收藏的信息进行管控。

管理员管理模块:

(1)网站管理:管理员可以对系统前台展示的轮播图以及公告进行增删改查,方便用户进行查看。

(2)人员管理:管理员可以对旅游数据可视化中的管理员以及前台注册的系统用户进行审核管理。

(3)内容管理:管理员可以对旅游数据可视化前台展示的旅游资讯以及资讯所属的分类进行管控。

(4)模块管理:在“模块管理”这一菜单下可以对系统当中的系统用户操作的所有信息进行管理,包含了景点数据、热门景点。

(5)个人管理:管理员点击“个人管理”菜单可以对个人信息以及登录的密码进行设置。

2.3.2非功能性需求分析

旅游数据可视化的非功能性需求比如旅游数据可视化的安全性怎么样,可靠性怎么样,性能怎么样,可拓展性怎么样等。具体可以表示在如下2.1表格中:

2.1 旅游数据可视化非功能需求表

安全性

主要指旅游数据可视化数据库的安装,数据库的使用和密码的设定必须合乎规范。

可靠性

可靠性是指旅游数据可视化能够安装用户的指示进行操作,经过测试,可靠性90%以上。

性能

性能是影响旅游数据可视化占据市场的必要条件,所以性能最好要佳才好。

可扩展性

比如数据库预留多个属性,比如接口的使用等确保了系统的非功能性需求。

易用性

用户只要跟着旅游数据可视化的页面展示内容进行操作,就可以了。

可维护性

旅游数据可视化开发的可维护性是非常重要的,经过测试,可维护性没有问题

2.4 系统用例分析

旅游数据可视化系统用户角色用例图如图2.1所示:

图2.1 系统用户角色用例图

旅游数据可视化中管理员角色用例图如图2.2所示:

图2.2 管理员角色用例图

3 旅游数据可视化总体设计

本章主要讨论的内容包括旅游数据可视化的功能模块设计、数据库系统设计。

3.1 系统架构设计

本旅游数据可视化从架构上分为三层:表现层(UI)、业务逻辑层(BLL)以及数据层(DL)。

图3-1旅游数据可视化架构设计图

表现层(UI):又称UI层,主要完成本旅游数据可视化的UI交互功能,一个良好的UI可以打打提高用户的用户体验,增强用户使用本旅游数据可视化时的舒适度。UI的界面设计也要适应不同版本的旅游数据可视化以及不同尺寸的分辨率,以做到良好的兼容性。UI交互功能要求合理,用户进行交互操作时必须要得到与之相符的交互结果,这就要求表现层要与业务逻辑层进行良好的对接。

业务逻辑层(BLL):主要完成本旅游数据可视化的数据处理功能。用户从表现层传输过来的数据经过业务逻辑层进行处理交付给数据层,系统从数据层读取的数据经过业务逻辑层进行处理交付给表现层。

数据层(DL):由于本旅游数据可视化的数据是放在服务端的mysql数据库中,因此本属于服务层的部分可以直接整合在业务逻辑层中,所以数据层中只有数据库,其主要完成本旅游数据可视化的数据存储和管理功能。

3.2系统顺序图设计

3.2.1登录模块顺序图

登录模块主要满足了管理员以及用户的权限登录,登录模块顺序图如图3-2所示。

图3.2登录顺序图

3.2.2添加信息模块顺序图

管理员以及用户登录后均可进行添加信息操作,添加信息模块顺序图如图4-4所示。

图3.3 添加信息顺序图

3.3系统功能模块设计

旅游数据可视化整体的功能模块包括管理员这个模块,实现了对景点数据相关信息的查询管理,系统功能模块如图所示。

图3.4旅游数据可视化功能模块图

3.4数据库设计

数据库设计一般包括需求分析、概念模型设计、数据库表建立三大过程,其中需求分析前面章节已经阐述,概念模型设计有概念模型和逻辑结构设计两部分。

3.4.1 数据库概念结构设计

下面是整个旅游数据可视化中主要的数据库表总E-R实体关系图。

图3-3 旅游数据可视化总E-R关系图

3.4.2数据库逻辑结构设计

通过上一小节中旅游数据可视化中总E-R关系图上得出一共需要创建很多个数据表。在此我主要罗列几个主要的数据库表结构设计。

表attraction_data (景点数据)

编号

名称

数据类型

长度

小数位

允许空值

主键

默认值

说明

1

attraction_data_id

int

10

0

N

Y

景点数据ID

2

attraction_name

varchar

64

0

Y

N

景点名称

3

quantity_mentioned_in_the_strategy

int

10

0

Y

N

0

攻略提到数量

4

number_of_comments

int

10

0

Y

N

0

点评数量

5

ranking_of_attractions

varchar

64

0

Y

N

景点排名

6

star_rating

varchar

64

0

Y

N

星级

7

praise_len

int

10

0

N

N

0

点赞数

8

  • 19
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值