高德POI数据爬虫

poi

在做爬虫的时候，不免都有爬取这个数据是不是合法的这种担忧，程序中也有加代理、UA、控制爬取频率等手段来避免被网站识别。但是从一些数据平台开放的接口中爬取数据就不需要有这种考量。
曾经做过这么个需求，爬取一个省份的POI。POI是Point of Information的缩写，即信息点。在地理信息系统中，一个POI可以是一栋房子、一个商铺、一个邮筒、一个公交站等。但是POI的正统翻译还是Point of Interest，即兴趣点。
每个POI包含四方面信息，名称、类别、坐标、分类，那时候就打算从一些公示网站爬取，数据更新缓慢导致不准确不说，而且因为数据量太大，爬取效果也不理想，后来就找到了高德的一个poi数据开发平台，完成了数据采集。
高德开放平台通过API来提供poi数据，通过参数可以控制地区、类别等信息。

登录高德账号

点击 高德开放平台入口 进入页面，没有注册的homie先注册一个账号，注册登录之后点击申请key

注册密钥

1 进入注册页面的首页，点击新建应用

2 填写配置，选择web端(JS API)

3 点击管理key，查看申请的密钥

接口使用

点击 接口规范 进入页面查看接口的规范，请求参数如下

'https://restapi.amap.com/v3/place/text?key=输入你的key&city={0}&extensions=all&types={1}&citylimit=true&offset=25'

其中key就是申请的秘钥，city和types可以下载POI分类编码和城市编码表来获取自己想要的poi数据。

结果数据

这就是从接口中获取的poi数据，可用于地图打点等方面

日常结语

这个接口的调用也是有限制的，点击查看调用量，一般每天可以free调用3W次，一次25个poi，这样一天也能获取70W个poi，enough！！！
晚安，homie。