python 爬取企查查网址的企业信息 如何设置合理的请求头和IP代理

为了设置合理的请求头和IP代理，建议按照以下步骤操作：

1. 使用 requests 库发送请求时，将 headers 参数设置为一个字典类型。通常情况下，可以将 User-Agent 字段设置为一个真实的浏览器 User-Agent，以防止网站封锁。例如：

   import requests
   
   headers = {
       'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'
   }
   
   response = requests.get(url, headers=headers)
   
   

2. 为了避免频繁访问同一 IP 被封锁，可以使用代理 IP 访问网站。可以从一些代理 IP 提供商获取免费或付费的代理 IP，然后将其设置为 requests 库的 proxies 参数。例如：

   import requests
   
   proxies = {
       'http': 'http://127.0.0.1:8888',  # 代理 IP 的地址和端口号，http 或 https 取决于代理协议
       'https': 'http://127.0.0.1:8888'
   }
   
   response = requests.get(url, proxies=proxies)
   
   

   注意，使用代理 IP 访问网站时，需要确保代理 IP 的有效性和稳定性，否则会影响爬取效率和成功率。

综上所述，可以通过设置合理的请求头和 IP 代理，提高爬取企查查网址的企业信息的成功率和效率。