有时候爬虫需要加入请求头来伪装成浏览器,以便更好的抓取数据.
打开浏览器Chrome找到User-Agent进行复制
#!/usr/bin/python
# -*- coding: utf-8 -*-
#Author: zhaosj
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'
}
res = requests.get(
'https://www.xiaozhu.com/',headers=headers #get方法添加请求头
)
print(res.text)
#执行结果:
Requests库不仅有get()方法,还有post()等方法.post()方法用于提交表单来爬取需要登录才能获得数据的网站.
<