开发工具是IDEA。
1、学习系统开发和设计的技术相关知识和工作流程；
2、学习使用 IDEA 工具编辑前后台代码；
3、学习使用springboot框架实现系统的开发；
4、掌握使用 MySQL 创建和编辑数据库的方法；
(1)文献研究法：
文献研究法是根据一定的研究目的或课题，通过调查文献来获得资料，从而全面地、正确地了解掌握所要研究问题的一种方法。文献研究法被子广泛用于各种学科研究中。其作用有：能了解有关问题的历史和现状，帮助确定研究课题；能形成关于研究对象的一般印象，有助于观察和访问；能得到现实资料的比较资料；有助于了解事物的全貌。
(2)实证研究法：
实证研究法是科学实践研究的一种特殊形式。其依据现有的科学理论和实践的需要，提出设计，利用科学仪器和设备，在自然条件下，通过有目的有步骤地操纵，根据观察、记录、测定与此相伴随的现象的变化来确定条件与现象之间的因果关系的活动。主要目的在于说明各种自变量与某一个因变量的关系。
(3)经验总结法：
经验总结法是通过对实践活动中的具体情况，进行归纳与分析，使之系统化、理论化，上升为经验的一种方法。总结推广先进经验是人类历史上长期运用的较为行之有效的领导方法之一。
（1）数据获取板块
数据获取板块功能主要是依据分析目的及要达到的目标，确定获取的数据种类，并使用直接获取数据文件方式或爬虫方式获取原始数据。
（2）数据预处理板块
数据预处理板块功能是对获取到的数据进行预处理操作：将重复的字段筛选，将过短并且没有实际意义的数据进行过滤，选择重要字段，标准化处理，异常值处理等预处理操作。
（3）数据存储板块
数据存储板块主要功能是把经过预处理的数据持久化存储，以便于后续分析。
（4）数据分析板块
数据分析板块主要功能是根据分析目标，找出数据中字段之间的内在关系，与规律。
（5）数据可视化板块
数据可视化板块主要功能是使用适当的图标展现方式，把数据的内在关系、规律展现出来。
Spring Boot是近几年最为流行的后台开发框架，它的诞生一改过去Spring框架开发中繁琐的配置，极大地简化了Spring应用的搭建和开发。Spring Boot框架不仅保有了Spring框架中的所有优秀特性，还通过使用特定的配置方式，在底层帮助开发人员在工程创建是就预先做了很多配置，这样在开发时就不再需要开发人员过多进行繁琐的配置了。另外在Spring Boot中集成了大量框架，这就使得开发人员不再需要到处寻找在导入开发中需要依赖的jar包，同时也解决了依赖包版本冲突问题，从而提高了依赖包引用的稳定性，从而实现了对Spring应用搭建和开发过程的简化。SpringBoot整合了业界上的开源框架
随着社会的不断发展，互联网数据时代的到来，数据的背后是什么，数据有什么用，怎么用庞大的数据来呈现出数据的价值，让我们一起去揭开它神秘的面纱。
本次以外卖配送分析及可视化系统爬取为例，介绍网络爬虫的基本原理，Python环境的搭建，PyCharm scrapy模块的爬虫数据的运用，把获取到的数据进行清洗、整合，储存数据到MySQL，然后进行数据可视化的呈现，简单对呈现的图进行数据分析。
目录
摘要 I
Abstrac II
1 绪论 1
1.1 背景及意义 2
1.1.1 背景 3
1.1.2 目标及意义 3
1.2 应用现状 4
1.3 主要板块 4
1.4 主要方法及技术路线 5
1.4.1 主要方法 5
1.4.2 技术路线 6
1.4.3实现途径 7
2开发环境及技术 8
2.1 软件硬件设备 8
2.1.1 其他 9
2.2 开发环境与工具 10
2.2.1 Python简介 10
2.2.2 爬虫简介 11
2.2.3 Django框架简介 12
2.2.4 MySqL数据库 13
2.2.5 hadoop简介 14
2.2.6 hive简介 14
3 可行性分析与模块设计 15
3.1 可行性分析 15
3.1.1 技术可行性分析 16
3.1.2 数据可获得性分析 17
3.2 各功能模块设计 18
3.2.1 数据获取方法 19
3.2.2 数据预处理设计 20
5 系统设计 22
4.1系统功能结构图 21
4.2系统数据库设计 21
4.2.1数据库E-R图 21
4.3数据库表结构 21
5 系统实现与结论 22
5.1 用户功能的实现 22
5.2管理员功能的实现 23
5.3数据可视化分析看板展示 25
5.4 结论 26
6总结 29
致 谢 30
参考文献 31
12万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
