前言:
🤡 作者简介:我是Morning,计算机的打工人,想要翻身做主人 🙈 🙈 🙈
🏠 个人主页:Morning的主页
📕系列专栏::Morning的Python专栏
📞 如果小编的内容有欠缺或者有改进,请指正拙著。期待与大家的交流
🔥如果感觉博主的文章还不错的话,👍点赞👍 + 👀关注👀 + 🤏收藏🤏
目录
正文
一.代理IP
1.为什么要使用代理:
1.让网站服务器认为不是同一个客户端在请求
2.防止我们的真实地址被泄露,防止被服务器认出同一个的用户身份,导致被反爬的几率大大提高
2.请求过程:
无代理
数据(请求响应)
由用户发起请求,直接到达服务器
服务器也是直接将响应返回到用户
有代理
用户发起请求➡️代理服务器(转发)➡️网站服务器
网站服务器➡️代理服务器➡️(转发) ➡️用户
使用代理之后,请求或响应可能发生变化
当代对于请求的改变,情况不多
3.代理分类:
3.1透明代理:
透明代理虽然可以直接“隐藏”你的IP地址,但是还是可以查到你是谁
3.2匿名代理:
使用匿名代理,别人只能知道你使用了代理,无法知道你是谁
3.3高匿代理:
高匿代理让别人根本无法发现你是在使用代理,所以是最好的选择
平台上获取的代理IP一般都有有效期,短则几分钟,长则几个月甚至一年,爬虫会经常性的修改代理IP,所以一般选择几分钟的代理IP即可。
4.IP的使用方法
4.1 IP的语法
proxies={
"https":&#