Python爬虫：requests模块深入及案例

• params：url携带的参数，字典类型

指定url发起请求是携带参数的，请求时将params中的字典类型数据转换为url中参数。

import requests

在CSDN中搜索，参数q为搜索关键字

searchURL = ‘https://so.csdn.net/so/search’

处理url携带的参数：封装到字典中

keyWord = input(‘CSDN Search KeyWord is :’)

param = {

请求所需的参数，字典类型

‘q’:keyWord

}

response = requests.get(url=searchURL ,params=param)

指定url发起请求是携带参数的，请求时将params中的字典类型数据转换为url中参数

pageText = response.text

爬取到的文本数据

fileName = keyWord + ‘.html’

with open(‘./dataFiles/’+fileName,‘w’,encoding=‘utf-8’) as fp:

fp.write(pageText)

生成以关键字命名的html文件

案例二：输入单词获取百度翻译的结果

---

检查网页可知，百度翻译的请求方式为post，需要用到requests.post()。关键字为data里面的kw。

requests.post(url= ,data= ,headers= )

• url：请求页面

• data：关键字，字典类型

• headers：头信息，字典类型，用于UA伪装

百度翻译

- post请求

- 响应数据是