Python爬虫基础知识笔记——代理

wlrobot

于 2021-07-04 13:25:33 发布

阅读量90

点赞数

分类专栏：爬虫基础知识笔记文章标签： python

本文链接：https://blog.csdn.net/weixin_51382726/article/details/118461107

版权

爬虫基础知识笔记专栏收录该内容

7 篇文章 0 订阅

订阅专栏

本文介绍了代理IP在反爬机制中的作用，包括隐藏真实IP、突破访问限制，并列举了几个代理IP网站。同时，讲解了代理IP的类型如HTTP和HTTPS，以及匿名度级别。通过Python示例展示了如何在请求中使用代理IP。

摘要由CSDN通过智能技术生成

代理（破解封IP这种反爬机制）

代理的作用

突破自身IP访问的限制
隐藏自身真实IP
反爬机制：封ip
反反爬策略：使用代理进行请求发送

代理相关的网站

快代理
西祠代理
www.goubanjia.com

在这里插入图片描述

代理ip的类型：

http：应用到http协议对应的url中
https：应用到https协议对应的url中

import requests
url="https://www.baidu.com/s?wp=ip"
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
}
page_test=requests.get(url=url,headers=headers,proxies={"https":"222.110.147.50:3128"})
with open('ip.html','w',encoding='utf-8')as fp:
    fp.write(page_test)