高德地图爬虫

高德地图爬虫

工具：Pycharm,win10,Python3.6.4

1.需求分析

这篇爬虫和上一篇百度地图爬虫要求一样，百度地图爬虫我发现有一个auth参数会一直变化，一旦变化则获取的数据是不准确的，所以我上高德地图看了一下，高德地图没有这个反爬机制。但是高德地图大概爬取120个页面就会跳一次验证码，我这里是通过换IP解决这个问题的。

2.数据准备

同样我们需要全国地级市信息，用之前的数据即可

3.爬虫思路

首先打开高德地图搜索一个城市的养老院数量，看看需要的参数有哪些，已经我们要的信息在什么地方。

按照这个步骤我们就能看到我们要的养老院数量就存放在这个位置，我们只需要获取该网页即可获取信息。网页参数如下

红色方框即为我们需要的参数，有些参数可以省略，这个自行尝试。

代码如下：

import requests
import json
import xlwt
from urllib.parse import urlencode
import xlrd

# 设置请求头，模拟浏览器访问
header