本文目的是简单的在选定浏览器页面,按照关键字爬取自己想要的信息,关键点为跳过反爬网页的反爬机制 。
使用UA伪装
- User-Agent
我们使用所爬网站中的User-Agent来进行伪装,让它以为我们是它本身的一部分,从而使得我们能够成功爬取我们需要的信息。
- 各网站User-Agent查找方法
打开所要爬取的页面,按键盘F12,如下图内容:
代码模块
- 该代码用例是搜狗网站
import requests
if __name__ == '__main__':
# UA伪装
header = {
'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36'
}
# 1.指定url
url = "https://www.sogou.com/web?"
kw = input("请输入关键字:")
param = {
'query' : kw
}
# 2.发送请求
response = requests.get(url=url,params=param,headers=header)
#数据获取
html = response.text
print(html)
response.encoding = 'utf-8'
fileName = kw + '.html'
with open(fileName,'w',encoding='utf-8') as f:
f.write(html)
print("页面获取成功!!!!")