随着社会的不断发展,互联网数据时代的到来,数据的背后是什么,数据有什么用,怎么用庞大的数据来呈现出数据的价值,让我们一起去揭开它神秘的面纱。
本次以外卖配送分析及可视化系统爬取为例,介绍网络爬虫的基本原理,Python环境的搭建,PyCharm scrapy模块的爬虫数据的运用,把获取到的数据进行清洗、整合,储存数据到MySQL,然后进行数据可视化的呈现,简单对呈现的图进行数据分析。
系统功能结构图是系统设计阶段,系统功能结构图只是这个阶段一个基础,整个系统的架构决定了系统的整体模式,是系统的根据。外卖配送分析及可视化的整个设计结构如图4.1所示。
图4.1系统功能结构图
管理员点击广州美食管理;在广州美食管理页面输入标题、评分、评论数、地址、均价、套餐价、封面等信息,进行查询、新增、删除、导入爬取数据等操作;如图5.7所示。
图5.7广州美食管理界面图
外卖配送分析及可视化基本情况展示,如图5.8所示。
图5.8外卖配送分析及可视化展示图