之前和大家介绍了一些爬虫的基础知识,现在,让我们继续这一话题,今天如预期的一样,给大家介绍介绍如何爬取高德地图的POI,做一个简单的GIS空间分析,并进行可视化。关于gis制图之前很少实践过,如有不规范的地方,欢迎大家批评指正,谢谢!
一、前言
随着互联网技术的发展,我们可以从网络中获取的数据愈加庞大,然而此类数据如果不加处理,想要拿来用的话会存在许多的问题,如数据的冗余,海量数据不知道该如何选取,以及非结构化等,也就是大数据所具有的海量、异构、多源的特点,以至于我们无法从数据中获取非常直观的信息,那么对数据进行筛选,结构化存储,分析以及可视化就非常有意义了,这里以高德地图爬取的地理空间POI点数据为例,通过网络爬虫的手段获取有效信息,存储到文件或者数据库中,爬取的多条记录数据包含了地址点的名称,经纬度等信息,通过数据分析软件或者编程处理数据,借助一些可视化工具,可以达到良好的效果,本文此处采用arcgis软件对获取的数据进行核密度分析并完成制图,从而实现信息的处理分析,并调整配色,添加图例、指北针等完成制图,达到可视化的目的。
二、环境准备
windows/linux/mac电脑一台
python3.x运行环境
编辑器:pycharm/conda/sublime/vs code/jup