python爬取高德POI数据存在的坑

背景

一个任务是爬高德数据,比如museum，park，shopping mall等数据，其中shopping mall数据不仅仅要爬取shopping mall本身数据，还有爬取shopping mall里面的POI数据.

坑1

最最基本的高德POI数据爬取，根据高德web api文档要求即可，此处存在的坑就是每个key可以爬取的次数有限制

解决方法是：
1.一个账号可以申请10个key，每个key都可以使用指定的次数；同事，还可以 使用亲朋好友的手机号创建新的账号，申请多个key
2. 让老板买一个企业key,有钱真的是万能的！

坑2

每一次url搜索，最多只能返回1000个POI（官方），但本少爷觉得好像貌似真的只能返回900个POI，所以此处用到四叉树的知识，而且需要使用多边形（矩形）搜索的方法.

如下，第一次搜索，POI数量>900，所以直接将搜索矩形划分为四块；第二次搜索，如果矩形中POI数量<900,则直接获取POI即可，否则继续划分对应的矩形为4块，一直循环下去，知道划分的矩形中POI数量小于900