Python如何爬取免费爬虫ip，2024年最新Flutter全方位深入探索

2401_84182073

已于 2024-04-10 07:17:08 修改

阅读量849

点赞数 20

分类专栏： 2024年程序员学习文章标签： python 爬虫 tcp/ip

于 2024-04-10 07:17:06 首次发布

本文链接：https://blog.csdn.net/2401_84182073/article/details/137578771

版权

2024年程序员学习专栏收录该内容

64 篇文章 1 订阅

订阅专栏

15 for ipport in ip.find_all(‘td’,limit=2):
16 if j==0:
17 loader+=ipport.text.strip()+‘:’
18 else:
19 loader+=ipport.text.strip()
20 j=j+1
21 Requestdef.inspect_ip(loader)
22 i=i-1
23 time.sleep(1)

多写几个这样的方法

2，检查ip可用可用存入数据库1，和2。

3，在数据库1中拿出少量爬虫ip存入数据库2（方便维护）。

def inspect_ip(ipprot):
2 time.sleep(1)
3 herder={
4 “User-Agent”: “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36”,
5 ‘Accept-Encoding’:‘gzip, deflate’,
6 ‘Accept-Language’:‘zh-CN,zh;q=0.9’,
7 ‘Accept’:‘text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8’,
8 ‘Upgrade-Insecure-Requests’:‘1’
9
10 }
11
12 url=‘https://www.baidu.com’
13 proxies = { “http”: “http://”+str(ipprot) }
14 request=requests.get(url,headers=herder,proxies=proxies)
15 if request.status_code==200:
16 print(‘可用爬虫ip’+ipprot)
17 if Db.r.llen(‘Iplist’)<=50:
18 Db.add_ip(ipprot)
19 #Alt.iplist.append(ipprot)
20
21 else:
22 Db.add_ips(ipprot)
23 else:
24 print(‘不可用爬虫ip’+ipprot)

我这里是用的www.baidu.com检测的给主IP的数据库长度是50 （太多了不好维护）。

4、定时检查数据库1和数据库2的爬虫ip数量，以及是否可用

#检查ip池数量
def time_ip():

while True:
time.sleep(5)
Db.act_lenip()

#检查备用池数量
def time_ips():
while True:
time.sleep(30)
#当备用池数量小于100 再次获取
if Db.len_ips()<100:
print(‘填数据’)
Acting_ip.iplist()
#程序入口
if name == ‘main’:

t1=threading.Thread(target=time_ip)
t1.start()
t2=threading.Thread(target=time_ips)
t2.start()
t1.join()
t2.join()

给他2个线程
Db.py

1 #coding:utf-8
2 import redis
3 import Requestdef
4 r = redis.Redis(host=‘127.0.0.1’, port=6379)#host后的IP是需要连接的ip，本地是127.0.0.1或者localhost
5 #主ip池
6 def add_ip(ip):
7 r.lpush(‘Iplist’,ip)
8 #备用ip池
9 def add_ips(ip):
10 r.lpush(‘Iplists’,ip)
11 #备用ip池第一个开始取出
12 def app_ips():
13 i=str(r.lindex(‘Iplists’,1),encoding=‘utf-8’)
14 r.lrem(‘Iplists’,i,num=0)
15 return i
16 def len_ips():
17 return r.llen(‘Iplists’)
18 def len_ip():
19 return r.llen(‘Iplist’)
20 #第一个开始取出
21 def app_ip():
22 i=str(r.lpop(‘Iplist’),encoding=‘utf-8’)
23 return i
24 #取出从最后一个开始
25 def rem_ip():
26 i=str(r.rpop(‘Iplist’),encoding=‘utf-8’)
27 return i
28 #检查主ip池
29 def act_db():
30 for i in range(int(r.llen(‘Iplist’)/2)):
31 Requestdef.inspect_ip(rem_ip())
32
33 #如果ip池数量少于25个则填满
34 def act_lenip():
35 if r.llen(‘Iplist’)<25:
36 print(‘填ip’)
37 while r.llen(‘Iplist’)<=50:
38 Requestdef.inspect_ip(app_ips())