获取免费的代理

原理:网上免费的代理网站,爬取速度最快的前几位返回出来,具体怎么用:自己把函数的返回值打印出来看看

import re
import requests

PROXY_IPS = []


def get_proxy_ips() -> list:
    global PROXY_IPS
    if not PROXY_IPS:
        contents = requests.get("https://www.kuaidaili.com/free/inha/").text
        ips = re.findall(
            '<td data-title="IP">([0-9]{1,3}?.[0-9]{1,3}?.[0-9]{1,3}?.[0-9]{1,3}?)</td>',
            contents,
        )
        https = re.findall('<td data-title="类型">(HTTP|HTTPS)</td>', contents)
        time = re.findall('<td data-title="响应速度">(.*?)秒</td>', contents)
        http_results = sorted(
            {(i, h): t for i, h, t in zip(ips, https, time)}.items(), key=lambda x: x[1]
        )
        PROXY_IPS = [i[0] for i in http_results if float(i[1]) <= 2]
        if not PROXY_IPS:
            PROXY_IPS = re.findall(
                "<td>([0-9]{1,3}?.[0-9]{1,3}?.[0-9]{1,3}?.[0-9]{1,3}?)</td>.*?<td>(HTTP|HTTPS)</td>",
                requests.get("https://ip.jiangxianli.com/?anonymity=1").text,
            )
    return PROXY_IPS
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值