python 爬虫 Form Data爬取穷游网的数据

数据

以穷游网郑州市的旅游景点为例

请求方式

分页的时候，是向同一个url发请求，不同的是Form Data里的page参数

参考代码

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import json
import requests

headers = {
    "Content-Type": "application/x-www-form-urlencoded"
}
url = 'https://place.qyer.com/poi.php?action=list_json'
data = {
    'page': '1',
    'type': 'city',
    'pid': '11771',
    'sort': '32',
    'subsort': 'all',
    'isnominate': '-1',
    'haslastm': 'false',
    'rank': '6'
}
if __name__ == '__main__':
    r = requests.post(url, data=data, headers=headers)
    r.encoding = 'utf-8'
    # 将str转为dict对象
    data = json.loads(r.text)
    data_list = data['data']['list']
    print(data_list)