爬虫-requests库（二）get请求参数的使用 —搜狗搜索后爬取搜索结果

之前写过一个用urllib.request 爬取百度搜索后结果的小文章
百度搜索关键词后爬取搜索结果
这次用requests库实现下搜狗搜索后查询，代码

import requests
from fake_useragent import UserAgent


#定义url
url = "https://www.sogou.com/web"

#设置request header
ua = UserAgent()
headers = {
    "User-Agent":ua.random
}

#交互输入关键字，封装至参数
kw = input('enter a key word:')
params = {
    "query":kw
}

# 发送请求，获取服务器给的响应
response = requests.get(url=url,params=params,headers=headers)

#数据存储
with open('./file/'+ kw + '.html','w',encoding='utf-8') as fw:
    fw.write(response.text)
#提示完成
print("爬取完成！")

对比下urllib.request ，增加了params参数，get请求不需要将参数用?参数1=1&参数2=2 这种样式拼接到url，也不需要注意中文的转码，还是很方便的。