代理爬虫

https://www.sohu.com/a/286177032_99987664

https://blog.csdn.net/qq_38251616/article/details/81675871?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

# -*- coding: utf-8 -*-
"""
Created on Mon Dec 21 21:09:00 2020

@author: Administrator
"""
import time
import pandas as pd
import telnetlib
import requests
# 只要前两页
v_ip = []

for k in range(1,3):
    url = 'https://www.kuaidaili.com/free/inha/{}/'.format(k)
    print(url)
    data =pd.read_html(url)[0]
    ip = data['IP'].to_list()
    v = data['响应速度'].apply(lambda x :x.replace('秒',''))
    v = v.to_list()
    # 取速度小于1的
    for i,j in enumerate(v):
        if float(j)<=1:
            v_ip.append(ip[i])
    # 有很强的反爬机制
    time.sleep(2)
# 检测代理ip可用性

    
badnum = 0
goodnum = 0
good = []
a = requests.get('https://www.baidu.com/',proxies={'https':"https//"+v_ip[0]},timeout=2)

for proxy in v_ip[1:10]:
    print('正在检测ip:',proxy)
    try:
        requests.get('https://www.baidu.com/',proxies={'https':"https://"+proxy})
    except: 
        print(1)
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
经导师精心指导并认可、获 98 分的毕业设计项目!【项目资源】:微信小程序。【项目说明】:聚焦计算机相关专业毕设及实战操练,可作课程设计与期末大作业,含全部源码,能直用于毕设,经严格调试,运行有保障!【项目服务】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。 经导师精心指导并认可、获 98 分的毕业设计项目!【项目资源】:微信小程序。【项目说明】:聚焦计算机相关专业毕设及实战操练,可作课程设计与期末大作业,含全部源码,能直用于毕设,经严格调试,运行有保障!【项目服务】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。 经导师精心指导并认可、获 98 分的毕业设计项目!【项目资源】:微信小程序。【项目说明】:聚焦计算机相关专业毕设及实战操练,可作课程设计与期末大作业,含全部源码,能直用于毕设,经严格调试,运行有保障!【项目服务】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。 经导师精心指导并认可、获 98 分的毕业设计项目!【项目资源】:微信小程序。【项目说明】:聚焦计算机相关专业毕设及实战操练,可作课程设计与期末大作业,含全部源码,能直用于毕设,经严格调试,运行有保障!【项目服务】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值