8.代理请求

最新推荐文章于 2024-05-19 23:31:32 发布
最新推荐文章于 2024-05-19 23:31:32 发布
阅读量432 收藏 8
点赞数 5
分类专栏： 爬虫笔记 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/potato123232/article/details/135672379
版权

目录

1  不使用代理请求

2  使用代理请求

3  代理IP的匿名度

有时爬着爬着人家把我们的IP给封了，这个时候我们可以使用代理IP再次进行请求

不用代理的时候就是A直接请求B，B给A响应

使用代理是A去请求C，C携带你的参数请求B。之后B给C响应，然后再由C把B的响应给A

这样A和B就没有直接关系，B禁用A的IP，但没有禁用C的IP。如果C的IP也被禁用了，那就换一个代理D

  • 梯子工具使用的就是代理技术

和验证码一样，代理也有第三方的公司做，比如 快代理 快代理 - 企业级HTTP代理IP云服务

  • 百度上搜代理就有了

1  不使用代理请求

这里有一个查询ip地址的http协议的网站 显示查询自己的IP地址 直接访问可以获得我们当前的IP

  • https协议的代理相对于http协议的代理要难获取一些

我们用代码请求一下

发现可以请求到，并且IP与我们与浏览器访问的IP一致

2  使用代理请求

快代理目前(2024.1.17)每小时会更新几个免费的，有时间限制的代理，我们再学习或购买之前可以用一下试试，我们现在就用这个IP试一下

在requests.get中加入参数proxies

proxies本身是键值对，键是协议名称，值是代理的IP+端口，如果你想再添加一个https的代理，那么可以这样写

page_text = requests.get(url=url,headers=headers,proxies={'http':'36.134.91.82:8888','https':'36.134.91.82:1234'}).text

当你使用http协议请求的时候会自动走http的代理，如果你没添加http的代理就会使用本机IP进行访问

请求后发现我们可以成功使用代理的IP

3  代理IP的匿名度

大致分如下3个等级

  • 透明：服务器知道该次请求使用了代理，也知道请求的真实IP。可以讲透明的代理意义不大
  • 匿名：服务器知道使用了代理，不知道真实的IP
  • 高匿名：服务器不知道使用了代理，也不知道真实的IP
Suyuoa
关注
  • 5
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Nginx正向代理https请求
飞龙在天
07-14 4901
​ 默认开源版本的nginx是不支持代理https请求的，如果要实现这个功能，需要第三方模块 https://github.com/chobits/ngx_http_proxy_connect_module ​
.net HttpWebRequest使用代理请求
☆╮123☆
10-26 6900
string responseStr = "";  HttpWebRequest myWebRequest = (HttpWebRequest)System.Net.WebRequest.Create(url);                             WebProxy proxyObject = new WebProxy(Ip, true);//str为IP地址 port
java使用代理请求https
aopiao5855的博客
04-23 844
我本来在我本机写的代码，本机电脑是可以连外网没限制，对于https和http都可以。但是放在linux服务器上后，因为VM限制了不能访问外网，而且有ssl验证所以就一直报错，要么是连不上线上请求，要么是访问不了SSL 443端口，其实这2错一样。 package util_liyuan; import java.io.BufferedReader; import java....
python编写的爬虫代理ip池.zip
03-03
python编写的爬虫代理ip池.zip 运行环境 python3 和mysql数据库 下载使用 下载源码 git clone .git 或者在下载zip文件 安装依赖 pip install -i https://pypi.douban.com/simple/ -r requments.txt 创建数据库 mysql -uroot -p create database ippool charset=utf8; 配置项目 # ProxyIPPool/settings.py 基本的配置文件 # Database 使用mysql DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'ippool', # db name 'USER': 'root', # 用户名 'PASSWORD': 'password', # 密码 'HOST': 'localhost', 'PORT': 3306, } } # uwsgi.ini uwsgi.ini [uwsgi] # 监听的ip地址和端口 这里修改访问端口 http=0.0.0.0:8000 # 配置工程目录 项目所在的绝对路径 chdir=/path/to/proxy_ip_pool/ProxyIPPool/ # 配置项目的wsgi目录。相对于工程目录 wsgi-file=ProxyIPPool/wsgi.py 生成迁移文件和执行迁移文件 python manage.py makemigrations python manage.py migrate 启动 方法一 cd ProxyIPPool # 进入到manage.py这一级 python manage.py runserver # 启动后访问http://127.0.0.1:8000 方式二 # 使用uwgi 启动服务 这样可以后台启动 uwsgi --ini uwsgi.ini 可以使用方式一进行调试运行，方式二进行稳定运行 启动爬取代理ip的脚本 # 调试时运行 python run.py # 在服务器中可以运行　 nohup python -u run.py >> crawler.out 2>&1 & 注意在项目下创建存储日志的文件 /ProxyIPPool/log/log.txt API接口 请求方式GET http://{运行服务器的ip}/api/fetch/ 随机返回一个代理ip信息 http://{运行服务器的ip}/api/random/{个数}, 随机返回指定个数 首页展示的内容可以在这里IPPool/views.py中修改 # IPPool/views.py # 修改context 改变返回首页的内容 def index(requests): """ 返回到说明页 :param requests: :return: """ context = '<h3>1.访问接口http://{运行服务器的ip}/api/fetch/ 随机返回一个代理ip信息</h3> <br/>' \ '<h3>2.访问接口http://{运行服务器的ip}/api/random/{个数}, 随机返回指定个数</h3> <br/>' return HttpResponse(context)
netty-nat:基于netty实现的TCPHttp请求转发的代理程序，可用做内网穿透工具
03-15
净资产 基于netty的TCP / Http请求转发代理程序 简介 在特定的网络环境或安全审核要求下，我们可能会面临网络被限定为单向访问的情况，本工具可以实现在单向网络中设置代理从而实现双向访问的目的。透工具。 依赖/知识准备 netty-高性能NIO通信框架 tcp / ip通信基础知识 工具原理说明 程序运行时序图！[image] [tmp] 使用方式 将项目克隆到本地 修改配置文件项目包含两个独立配置文件，分别为netty-nat | --netty-client | ---- properties.properties |-网络服务器| ---- properties.properties 客户端对应的属性配置： internal.server.port代理程序服务端端口internal.server.host代理程序服务端地址proxy.client.port被代理程序的端口p
vue.js使用代理和使用Nginx来解决跨域的问题
11-27
使用Nginx 反向代理解决跨域问题（vue.js使用代理去掉vue.js因为跨域而触发的options请求） 我们的项目还是需要node.js作为容器的 一、Windows 下安装Nginx （官网下载稳定版http://nginx.org/en/download.html） 二、修改config里的nginx.conf文件的server server { listen 8899;// 你的端口 server_name localhost; root C:/ZOBSF_F/dist;//你打包部署的文件路径 #charset koi8-r; #access_log logs/host.ac
vue.config.js 配置proxy代理axios请求无效问题解决方案
飞扬小阁
12-23 1万+
使用proxy代理请求地址，可以帮助隐藏http请求地址，并可解决跨域请求的问题 试了很多方法开发环境无效。 vue.config.js配置(不要配置其他多余的选项，只要proxy) devServer: { port: 8088, proxy:"http://192.168.111.101:8081" // 下方配置无效，已屏蔽 /* proxy: { '/api': { target: "http://192.168.111.101:8
requests设置请求头、代理
热门推荐
Jxc的个人博客
06-17 2万+
设置请求头和代理，可以解决一些简单的反爬措施。
nginx代理ajax跨域请求
DT-TK
08-07 4439
一、首先去下载一个nginx。 二、配置nginx的配置文件 nginx.conf server { listen 8088; #监听端口 server_name localhost; #charset koi8-r; #access_log logs/host.access.log main; ...
使用Netty代理你的请求Java开发Java经验技巧共8
11-22
使用Netty代理你的请求Java开发Java经验技巧共8页.pdf.zip
iOS安全之【拦截请求，实现特定目的 】（修改HTTPHeaderField、不走全局proxy、设置代理IP和端口、对网络请求的数据进行报文级别的加密）
04-20
2.2、针对NSURLSessionConfiguration设置代理IP和端口，让一些特殊的请求走自定义的隧道IP和端口 2.3、对网络请求的数据进行报文级别的加密：使用NSURLProtocol来自动监听HTTP请求并加密解密。 通过[NSURLProtocol ...
Nginx正向代理请求https报400
ibigboy
10-10 6703
如题，Nginx配置正向代理，请求https时报400，请求http时正常。 Nginx正向代理配置如下： #正向代理 server { resolver 8.8.8.8;#指定dns服务器 listen 30000; access_log D:/mysoft/nginx-1.17.3/logs/proxy_access.log; error_log D:/mysoft/nginx-1...
本地项目配置nginx代理请求接口
一条会流泪的鱼
08-11 4649
nginx安装 安装下载地址：http://nginx.org/en/download.html nginx配置 相关命令(针对小白，本人也是)： 1. start nginx // 启动ng服务器 2. nginx -s reload // 服务杀死后进行重启（每次修改配置需执行此操作） 3. nginx -t //查看配置是否成功（一连串英文字符中出现successful） 启动成功的依据是你的进程中会有nginx服务 启动成功后就可以开始进行配置了（文件目录：D:\nginx\ng.
python3-python使用代理进行数据的请求，代理服务器。
记录和分享程序人生的点点滴滴
10-25 4345
代理的目的： 1)让服务器以为不是同一个客户端在请求； 2)防止我们的真实地址被泄露，防止被追究。 代理的执行流程： 数据的请求（request）：浏览器先向代理服务器请求，再由代理服务器向真正的服务器请求。 数据的响应（response）：则沿着相反的方向进行。 正向代理和反向代理 1)正向代理：对于浏览器知道服务器的真实地址，例如VPN； 2)反向代理：浏览器不知道服务器的真实地址，例如nginx。
【Python】Python中变量或者函数加下划线‘_‘的含义
yangweipeng708的博客
05-14 678
理解这些约定可以帮助Python开发者编写更清晰、更Pythonic的代码，并理解其他Python代码中的命名习惯。）通常用来指示特定的编程约定或用法，这些约定主要关乎变量和函数的可访问性以及预期的使用范围。在Python中，变量或函数前面加一个下划线（
python数据分析numpy基础之intersect1d求数组交集
最新发布
sinat_34735632的博客
05-19 194
python的numpy库的intersect1d(x,y)函数，计算x和y的公共元素，并返回去重后的有序结果。相当于求两个数组中的交集，并且进行去重和排序。numpy.intersect1()查找两个数组的公共元素，并且返回去重后的有序结果。ar1，ar2：必选，列表、元组、数组；如果是多维则自动转一维数组；assume_unique：可选，bool，默认False，若为True则可以加快计算素材，此时ar1和ar2需为元素唯一的数组，否则结果不会去重；
windows11 Django环境安装
云深海阔专栏
05-15 162
3）在这个文件夹中使用manager.py和runserver命令运行开发 web 服务器。2）使用 django-admin 工具创建一个名为“mytestsite”的新框架站点。浏览器上访问http://localhost:800。2、windows10 虚拟环境设置。1、验证python和pip3环境。1）创建文件夹及项目目录。4）web浏览器上验证。3、安装Django。
python数据分析——时间序列
qq_74013365的博客
05-14 1996
时间序列是按照时间顺序排列的一系列随时间变化而变化的数据点或观测值。时间序列可以是离散的，例如每月的销售数据，也可以是连续的，例如气温和股票价格等。时间序列常用于预测和分析未来的趋势，例如经济增长、股票走势、天气变化等。时间序列分析是数据分析中的重要部分，它涉及到对随时间变化的数据进行研究，以揭示其内在规律、趋势和周期性变化。Python作为一种强大的编程语言，拥有众多的数据处理和可视化库，如pandasnumpymatplotlib和seaborn等，这些库在处理时间序列数据时表现出色。
CentOS8 nginx代理
04-06
CentOS 8 上安装和配置 Nginx 代理的步骤如下： 1. 安装 Nginx 使用以下命令安装 Nginx： ``` sudo dnf install nginx ``` 2. 配置 Nginx 代理 打开 Nginx 配置文件 `/etc/nginx/nginx.conf`，添加以下内容： ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Suyuoa

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值