终于把毕业论文写完啦,现在把毕业论文与工具相关的东西总结一下吧~
数据获取
爬虫软件
1、POIkit:https://github.com/Civitasv/AMapPoi(爬取高德地图的工具包,内含
- POI搜索 (支持多线程并发)
- 地理编码 (支持多线程并发)
- 格式转换 (目前可转换geojson -> shp 、shp -> geojson/csv)
- 坐标转换 (支持wgs84/gcj02/bd09)
)
2、后羿采集器:https://www.houyicaiji.com/(只要不用打验证码,那爬数据导数据都是免费的,上手很简单!)
开源数据集
数据类型 | 数据源 | 数据描述 |
POI数据 | 高德地图API数据开放接口 | 通过Python爬虫技术调用高德地图API爬取各个POI的位置数据 |
人口数据 | WorldPop全球高分辨率人口计划项目数据集 | 空间分辨率为3弧度(在赤道处约为100m) |
路网数据 | OpenStreetMap | 反映城市交通状况,后续用于计算路网密度 |
住宅数据 | 安居客 | 通过Python爬虫技术爬取,反映常住人口分布差异 |
房价数据 | 房天下 (跳转...) | 通过Python爬虫技术爬取,再经反距离插值得到各个单元格的平均房价水平 |
地理编码数据 | 百度地图地理编码 | 通过Python调用API接口,将地址数据转换为经纬度 |
路况数据 | 百度地图交通态势 | 通过Python定点调用API接口爬取路况,反映单元格内所有道路综合拥堵情况 |
行政区划数据 | 阿里云 | 导入GIS软件划分广州市区域,以便进一步划分网格 |
托育机构数据 | 通过Python爬虫技术爬取店铺名称与详细地址 | |
商铺数据 | 58同城 | 通过Python爬虫技术爬取,反映地区商铺出租和出售金额水平 |