使用Python的requests库自定义User-Agent发送请求
在网络爬虫开发中,模拟浏览器请求是非常常见的需求之一。网站通常会根据User-Agent头部信息来判断请求的来源,因此我们可以通过修改User-Agent来伪装成不同的浏览器或设备,以达到隐藏身份或模拟不同环境的目的。本文将介绍如何使用Python的requests库来发送带有自定义User-Agent的请求。
首先,我们需要安装requests库。可以使用pip命令来进行安装:
pip install requests
安装完成后,我们就可以开始编写代码了。下面是一个示例,展示了如何使用requests库发送带有自定义User-Agent的GET请求:
import requests
url = 'http://example.com'
headers = {
'User-Agent'