python免费代理爬取，建议收藏

最新推荐文章于 2024-06-23 08:00:00 发布

小敢摘葡萄

最新推荐文章于 2024-06-23 08:00:00 发布

阅读量149

点赞数

文章标签： python 开发语言 Python基础代理IP Python爬虫 Python编程

本文链接：https://blog.csdn.net/xiaoganbuaiuk/article/details/134548126

版权

任务

抓取免费的代理ip，然后验证代理是否可以使用，可以使用的保存到本地
免费代理ip网址https://www.kuaidaili.com/free/inha/

分析

第一个方法：首先要请求改网站，用requests，如果content不为空的话用正则筛选出想要的部分，最后进行ip和端口拼接
第二个方法：写入文本中
第三个方法：把拼接好的url放在proxies中去请求百度看状态码是否为200，是200的话就调用第二个方法

第一个方法

import re,requests,random  
header = {  
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36'  
}  
def urls():  
    list = []  
    for i in range(1,10):  
        url = 'https://www.kuaidaili.com/free/inha/'+str(i)  
        r = requests.get(url,headers=header)  
        if r.content != None:  
            ip = re.findall('<td data-title="IP">(.*?)</td>',r.content.decode())  
            port = re.findall('<td data-title="PORT">(.*?)</td>',r.content.decode())  
            for i in range(len(ip)):  
                list.append(ip[i] + ":" + port[i])  
    return list

第二个方法

def writr_file(proxy):  
    with open('proxy.txt', 'a')as a:  
        a.writelines(proxy+'\n')

第三个方法

def proxy(urls):  
    for i in urls:  
        url = "https://www.baidu.com/"  
        proxy = {  
            'http': i  
        }  
        try:  
            res = requests.get(url, proxies=proxy, timeout=5,headers=header)  
            if res.status_code == 200 and '百度一下' in res.content.decode():  
                print('================')  
                print('代理可用：'+i)  
                writr_file(i)  
            else:  
                print('代理不可用：'+i)  
        except:  
            print('代理无法连接：'+i)

整体代码

# 免费代理ip网址https://www.kuaidaili.com/free/inha/  
# 抓取免费的代理ip，然后验证代理是否可以使用，可以使用的保存到本地  
import re,requests,random  
header = {  
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36'  
}  
def urls():  
    list = []  
    for i in range(1,10):  
        url = 'https://www.kuaidaili.com/free/inha/'+str(i)  
        r = requests.get(url,headers=header)  
        if r.content != None:  
            ip = re.findall('<td data-title="IP">(.*?)</td>',r.content.decode())  
            port = re.findall('<td data-title="PORT">(.*?)</td>',r.content.decode())  
            for i in range(len(ip)):  
                list.append(ip[i] + ":" + port[i])  
    return list  
#写入  
def writr_file(proxy):  
    with open('proxy.txt', 'a')as a:  
        a.writelines(proxy+'\n')  
  
#判断存活  
def proxy(urls):  
    for i in urls:  
        url = "https://www.baidu.com/"  
        proxy = {  
            'http': i  
        }  
        try:  
            res = requests.get(url, proxies=proxy, timeout=5,headers=header)  
            if res.status_code == 200 and '百度一下' in res.content.decode():  
                print('================')  
                print('代理可用：'+i)  
                writr_file(i)  
            else:  
                print('代理不可用：'+i)  
        except:  
            print('代理无法连接：'+i)  
  
proxy(urls())

优化代码

写在一起可能更好点

# 免费代理ip网址https://www.kuaidaili.com/free/inha/  
# 抓取免费的代理ip，然后验证代理是否可以使用，可以使用的保存到本地  
import re,requests  
  
header = {  
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36'  
}  
def GetProxyIp():  
    urls = []  
    IP_URL = 'https://www.kuaidaili.com/free/inha/{}'  
    for i in range(3,5):  
        content = requests.get(IP_URL.format(i), headers=header, timeout=5).content.decode('utf-8')  
        if content != None:  
            ip = re.findall('<td data-title="IP">(.*?)</td>', content)  
            port = re.findall('<td data-title="PORT">(.*?)</td>', content)  
            for j in range(len(ip)):  
                urls.append(ip[j] + ':' + port[j])  
    return urls  
  
def pd(proxy):  
    url = "https://www.baidu.com/"  
    for i in proxy:  
        proxy = {  
            'http': i,  
        }  
        try:  
            res = requests.get(url, timeout=5, headers=header,proxies=proxy)  
            if res.status_code == 200 and '百度一下' in res.content.decode():  
                print('发现免费代理：'+str(i))  
            else:  
                print(str(i)+'不通')  
        except:  
            print(str(i)+'异常')  
proxy = GetProxyIp()  
pd(proxy)