# 搜狗简易网页采集器
import requests
#请求参数动态化
keyword = input('请输入关键字:')
#如果请求失败,那就是模仿的力度不够,第一次我未加请求头中的headers,导致搜索404
headers = {
'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 Edg/122.0.0.0'
}
#稍后想要把该字典作为请求参数
#params参数就是用来在请求时携带指定的请求参数
#query是由多次搜索,后发现的不变的响应数据 开发者工具-->网络-->负载
params = {
'query':keyword, #只存在一个键值对(存在一组请求参数)
}
#1.指定url
url = 'https://www.sogou.com/web' #需要将请求参数去除
#2.发起请求
#params参数就是用来在请求时携带指定的请求参数
response = requests.get(url=url,headers=headers,params=params)
#3.获取响应数据
page_text = response.text
#4.持久化存储
fileName = keyword + '.html'
with open(fileName,'w',encoding='utf-8') as fp:
fp.write(page_text)
爬虫学习:搜狗简易网页采集器
最新推荐文章于 2024-09-03 18:00:00 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)