- params:url携带的参数,字典类型
指定url发起请求是携带参数的,请求时将params中的字典类型数据转换为url中参数。
import requests
在CSDN中搜索,参数q为搜索关键字
searchURL = ‘https://so.csdn.net/so/search’
处理url携带的参数:封装到字典中
keyWord = input(‘CSDN Search KeyWord is :’)
param = {
请求所需的参数,字典类型
‘q’:keyWord
}
response = requests.get(url=searchURL ,params=param)
指定url发起请求是携带参数的,请求时将params中的字典类型数据转换为url中参数
pageText = response.text
爬取到的文本数据
fileName = keyWord + ‘.html’
with open(‘./dataFiles/’+fileName,‘w’,encoding=‘utf-8’) as fp:
fp.write(pageText)
生成以关键字命名的html文件
检查网页可知,百度翻译的请求方式为post,需要用到requests.post()。关键字为data里面的kw。
requests.post(url= ,data= ,headers= )
-
url:请求页面
-
data:关键字,字典类型
-
headers:头信息,字典类型,用于UA伪装