使用代理服务获取网页源代码测试

早起的虫子被鸟吃v

已于 2023-03-19 18:41:45 修改

阅读量729

点赞数

分类专栏： Python网络爬虫文章标签：经验分享 Powered by 金山文档

于 2023-03-19 18:39:23 首次发布

本文链接：https://blog.csdn.net/weixin_51424938/article/details/129654312

版权

Python网络爬虫专栏收录该内容

6 篇文章 0 订阅

订阅专栏

这段代码展示了如何使用Python的requests库进行网络请求，包括通过代理服务和直接访问URL。首先，它从API获取代理信息，然后设置请求头，利用代理进行HTTPS请求。如果无代理，直接使用提供的headers发送GET请求。响应内容被解码为UTF-8并打印出来。

摘要由CSDN通过智能技术生成

import requests
url = "输入测试访问网址"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36"}
API = '输入代理服务的API接口'
response = requests.get(API)
print(response.text)
proxy = {'https': response.text.split('\r')[0]}
print(proxy)
resp = requests.get(url, headers=headers, proxies=proxy, verify=False, timeout=5)
resp.encoding = "UTF-8"
print(resp)
print(resp.text) 
resp.close()

如果使用自己的网络就用以下代码：

import requests
url = "输入测试访问网址"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36"}
resp = requests.get(url, headers=headers)
resp.encoding = "UTF-8"
print(resp)
print(resp.text)
resp.close()