【python-1】爬虫时如何通过Requests设置自己的ip地址，附检测方法（代码+注释）

最新推荐文章于 2024-07-07 03:50:59 发布
最新推荐文章于 2024-07-07 03:50:59 发布
阅读量5.1k 收藏 6
点赞数
分类专栏： Python 文章标签： Requests模块 爬虫 修改ip
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44063031/article/details/103425729
版权
本文介绍了在Python爬虫中如何使用Requests模块设置自己的IP地址，以解决被目标网站限制的问题。文章提到了常用提供免费IP的网站可能不可靠，并建议自行尝试。此外，还分享了一个检测IP设置是否成功的在线工具http://icanhazip.com/，并给出了相关设置和检测的代码示例。
摘要由CSDN通过智能技术生成

写在前面

博主在爬取安居客时，被限制了，如下：
在这里插入图片描述
那马上想到的自然是换一个ip啦hhh

正题

常用的提供免费ip的网站

西刺，3464网等等，不过博主亲测，大部分是不能用的，所以需要的话就要自己多试试喽（毕竟免费的）
在这里插入图片描述

如何设置

可以显示当前使用ip的网站http://icanhazip.com/
直接在浏览器中输入，返回的直接是当前ip，所以用来检测ip设置是否成功
在这里插入图片描述
设置及检测代码如下：


                

                
                
        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        


    


              

                

              

            
              



	

		

			

				
					
【Python】Python爬虫实战--小猪短租爬虫_pgj.zip

					
最新发布

				
			

			

				

					01-04
				

			

		

		

			
				
面对这些挑战，开发者需要不断学习和掌握更多的技术，如使用Selenium进行动态内容的爬取、利用代理IP池进行IP地址的轮换、设置合适的请求头和User-Agent等。  此外，随着相关法律法规的完善和网络道德的推广，开发...

			
		

	



              


  
              

                


	

		

			

				
					
Python代码源码-实操案例-框架案例-通过正则表达式快速获取电影的下载地址.zip

				
			

			

				

					02-22
				

			

		

		

			
				
而反爬虫机制可能包括验证码、IP限制、User-Agent检查等，我们可以通过设置合适的请求头、使用代理IP等方式应对。  最后，为了提高代码的可读性和可维护性，我们需要遵循良好的编程习惯，如合理命名变量、使用函数...

			
		

	





	

		

			

				
					
python爬虫requests设置代理ip_python爬虫反爬取---设置IP代理自动变换requests.get()中proxy的IP...

				
			

			

				

					weixin_39753791的博客
				

				

					11-20
					
					394
					
				

			

		

		

			
				
今天做了个随机变换IP的功能由于今天懒得写爬虫爬取西刺网 (http://www.xicidaili.com/wt/) 的ip和端口号西刺网就简单写了个py来用人肉的方法一个一个试IP(捂脸)，事实证明太傻了__author__ = 'Lee'from headers import  requests_headers  # 上一篇文章中所写的自动转变headers文件from bs4 import...

			
		

	



		

			
		



	

		

			

				
					
【Python】request绑定指定IP

				
			

			

				

					HelloWorld
				

				

					06-07
					
					6267
					
				

			

		

		

			
				
实现source适配器
#!/usr/bin/env python
# coding=utf-8
# (C) Copyright 2019-2019, sangfor.Co.Ltd. All rights reserved.

"""
requests_toolbelt.source_adapter
================================
This file contains an implementation of the SourceAddressAdapter origina

			
		

	





	

		

			

				
					
requests中设置代理ip

				
			

			

				

					qq_38480908的博客
				

				

					07-30
					
					4773
					
				

			

		

		

			
				
# 1、引入requests包
import requests

# 2、设置代理ip
proxy = {
    'https':'202.95.8.141:3128'
}

# 3、对目标网站发起请求
response = requests.get("http://httpbin.org/ip",proxies=proxy)

# 4、打印查看
print(response.text)





			
		

	





	

		

			

				
					
爬虫笔记7：requests设置代理IP

				
			

			

				

					微信公众号进阶的阿牛哥的博客
				

				

					04-26
					
					6033
					
				

			

		

		

			
				
一、为什么要设置代理IP
爬虫爬取网站时，如果被对方识别是爬虫，就很可能被封号（即不能访问该网站）。

二、怎么获取IP
1.通过网站：https://www.ipip.net/（获取外网IP）

2.通过网站：http://httpbin.org/ip

3.在cmd里输入：ipconfig（获取内网IP，局域网）

我们要隐藏的是外网ip
三、方法
1、怎么爬取ip（就是模拟上述获取ip的方法）

2、怎么设置代理ip
import requests

url = 'http://httpbin.org

			
		

	





	

		

			

				
					
python爬虫ip每三次换一次_干货|如何使用requests模块获取免费的代理IP？

				
			

			

				

					weixin_39936558的博客
				

				

					12-09
					
					349
					
				

			

		

		

			
				
我们通常会在网页中对目标网页进行爬取，为了避免爬取目标网页的后台服务器，对我们实施封锁IP的操作。我们可以每发送一次网络请求更换一个IP，从而降低被发现的风险。其实在获取免费的代理IP之前，需要先找到提供免费代理IP的网页，然后通过爬虫技术将大量的代理IP提取并保存至文件当中。以某免费代理IP网页为例，实现代码如下：01 importrequests #导入网络请求模块02 f...

			
		

	





	

		

			

				
					
ip代理python_python实现切换代理ip

				
			

			

				

					weixin_39730801的博客
				

				

					12-09
					
					498
					
				

			

		

		

			
				
大量的处理爬虫的时候,IP地址容易被封掉，这个时候可以使用代理IP来帮助完成接下来的任务了使用Requests模块来完成请求，代码如下：import urllib.requestimport requestsurl = "http://pv.sohu.com/cityjson?ie=utf-8"print("原有IP:   " + requests.get(url).text)# 构建一个代理IP...

			
		

	





	

		

			

				
					
网络爬虫（Python：Requests、Beautiful Soup笔记）

				
			

			

				

					算法工程师
				

				

					11-26
					
					1921
					
				

			

		

		

			
				
网络爬虫（Python：Requests、Beautiful Soup笔记）

			
		

	





	

		

			

				
					
【Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）

				
			

			

				

					m0_67844671的博客
				

				

					05-31
					
					6373
					
				

			

		

		

			
				
Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）

			
		

	





	

		

			

				
					
python requests更换代理适用于IP频率限制的方法

				
			

			

				

					01-01
				

			

		

		

			
				
有些网址具有IP限制，比如同一个IP一天只能点赞一次。

解决方法就是更换代理IP。
从哪里获得成千上万的IP呢? 百度“http代理” 可获得一大堆网站。
比如某代理网站，1天6元，可以无限提取。

把提取的IP,保存到txt文件中。

写一个方法，读取文件，存入数组中

def getProxysFromFile():
 with open(proxy.txt, r) as f:
  l = f.readlines()
 return l
比如执行某任务，传入单个代理IP+PORT

def run(proxy):
 try:
  print(proxy:{}.format(p

			
		

	





	

		

			

				
					
[Python]简单几行代码带你完成Python切换代理IP

				
			

			

				

					FransicZhang的博客
				

				

					04-08
					
					1万+
					
				

			

		

		

			
				
当我们大量的处理爬虫的时候,我们的IP地址容易被封掉  这个时候我们就需要代理IP来帮助我们完成接下来的任务了
这次我采用的是Requests模块来完成请求的


上代码


import requests

# 查询IP  http://ip.chinaz.com/getip.aspx
url = "http://ip.chinaz.com/getip.aspx"

print(r

			
		

	





	

		

			

				
					
java http请求设置ip

				
			

			

				

					weixin_34804926的博客
				

				

					07-07
					
					277
					
				

			

		

		

			
				
HTTP相关视频讲解：零拷贝的原理#render_0_795057670-svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#render_0_795057670-svg .error-icon{fill:#...

			
		

	





	

		

			

				
					
多ip服务器绑定ip发送请求（requests和scrapy）

				
			

			

				

					downdawn
				

				

					11-12
					
					1331
					
				

			

		

		

			
				
多ip服务器绑定ip发送请求（requests和scrapy）
有时候我们会购买多ip服务器（站群服务器），来满足特定的需求，比如建站，SEO等。
多ip服务器通常是ip越多价格越贵，ip段也有优劣之分。
对于爬虫而言，200多个ip，合理利用的话也可以满足很多需求了。
本篇文章针对python的两个爬虫库：requests和scrapy，怎么绑定指定ip发送请求做的整理笔记。
1、获取本机所有ip
第一步就是要知道本机有多少可用的ip。
import psutil


def get_local_ips(

			
		

	





	

		

			

				
					
Python requests获取连接的IP地址

				
			

			

				

					阿拉修
				

				

					02-12
					
					6918
					
				

			

		

		

			
				
python获取到连接的本地IP地址，方法如下
import requests

rsp = requests.get("http://www.baidu.com", stream=True)
print (rsp.raw._connection.sock.getpeername()[0])
print (rsp.raw._connection.sock.getsockname()[0])

例：
import socket

# 查看当前主机名
print('当前主机名称为 : ' + socket.ge

			
		

	





	

		

			

				
					
python request.get ip参数_python requests指定出口ip的例子

				
			

			

				

					weixin_26875543的博客
				

				

					12-24
					
					1734
					
				

			

		

		

			
				
python requests指定出口ip的例子爬虫需要，一个机器多个口，一个口多个ip，为轮询这些ipdemo#coding=utf-8import requests,sys,socketfrom requests_toolbelt.adapters import sourcereload(sys)sys.setdefaultencoding('utf-8')s = requests.Sessi...

			
		

	





	

		

			

				
					
Python爬虫开发：requests库的使用--ip代理参数的设置

				
			

			

				

					学亮编程手记
				

				

					03-12
					
					2805
					
				

			

		

		

			
				

			
		

	





	

		

			

				
					
不改本地HOSTS，Python的requests库如何指定IP请求？

				
			

			

				

					潇洒哥的小圈
				

				

					03-24
					
					5807
					
				

			

		

		

			
				
自动化接口过程中，偶尔需要指定服务器ip的情况，可以这样实现



接口url: http://www.example.com/a?user=abc

HTTP请求，直接修改URL中域名为IP，再配置下Host头就行了；




url = http://1.2.3.4/a?user=abc
headers = {"Host": "www.example.com"}
requests.get(url,headers=headers)

HTTPS请求，参考HTTP，但是要禁用证书验证 verify：Fals

			
		

	





	

		

			

				
					
python爬虫 requests使用代理ip

					
热门推荐

				
			

			

				

					古语静水流深
				

				

					11-23
					
					3万+
					
				

			

		

		

			
				
请求时，先将请求发给代理服务器，代理服务器请求目标服务器，然后目标服务器将数据传给代理服务器，代理服务器再将数据给爬虫。

代理服务器是经常变化的

使用代理服务器时传一个参数：proxy。是一个字典的形式。http或者https这样的字段




import requests

# 使用代理

proxy={
    'http':'http://221.238.207.34:8000'  #可以找找国内的一些免费ip
}

result = requests.get("http://httpbin.o

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值