python抓取https代理

最新推荐文章于 2024-07-28 15:46:11 发布
最新推荐文章于 2024-07-28 15:46:11 发布
阅读量10w+ 收藏 8
点赞数
分类专栏： Python 文章标签： python https 爬虫 代理 免费代理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wds326598/article/details/120435797
版权

文章目录

一、爬取代理IP网站中所有IP

目前寻找到3个成功率比较高的代理IP网站

  1. https://hidemy.name/cn/proxy-list/?type=s#list (可能需要v-p-n)

    在这里插入图片描述

  2. http://www.xiladaili.com/https/(可能需要v-p-n)

    在这里插入图片描述

  3. https://proxy.mimvp.com/freeopen?proxy=in_hp&sort=&page=1

在这里插入图片描述

1. 爬取第一个网站中所有的ip地址

import requests
from lxml import etree

# 定义一个全局数组,用了存放获取到的ip地址
list_ips = []
# 获取ip地址
def get_url(urls='https://hidemy.name/cn/proxy-list/?type=s#list'):
    # 构建请求头
    headers = {
        'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36',
        'cookie': '_ym_uid=1631777163767759683; _ym_d=1631777163; PAPVisitorId=b90c63abf5f4ae440925e5MpEdpDVCg3; PAPVisitorId=b90c63abf5f4ae440925e5MpEdpDVCg3; _ga=GA1.2.2061127712.1631777164; _gid=GA1.2.1247344787.1631777164; _ym_isad=2; _dc_gtm_UA-90263203-1=1; _gat_UA-90263203-1=1; _fbp=fb.1.1631777165623.195031136',
    }
    respons = requests.get(urls, headers=headers, )
    # 获取请求内容,并且转换成html格式
    html_content = etree.HTML(respons.content.decode('utf-8'))
    tbody_list = html_content.xpath("//*[@class='table_block']/table/tbody/tr")
    print(len(tbody_list))
    # 如果能获取到数据，进行下一步
    if len(tbody_list):
        # 遍历内容
        for tbody in tbody_list:
            # 获取ip地址
            ip_name = tbody.xpath('./td[1]/text()')[0]
            # 获取端口号
            port_name = tbody.xpath('./td[2]/text()')[0]
            # 字符串拼接
            ips = ip_name + ':' + port_name
            # 添加到全局数组中
            list_ips.append(ips)
        else:
            # 获取下一页url
            next_url_xpath = html_content.xpath("//*[@class='next_array']/a/@href")
            if len(next_url_xpath):
                # 拼接下一页url
                next_url = 'https://hidemy.name' + next_url_xpath[0]
                # 继续请求
                get_url(next_url)
            else:
                print('没有下一页了')
    else:
        print('没有获取到')
    # 返回数据
    return list_ips

# 调用方法
if __name__ == '__main__':
   list_ip = get_url()
   print(list_ip)

2. 爬取第二个网站中所有的ip地址

# 2.获取这的代理ip: http://www.xiladaili.com/https/
def get_https_ip(urls='http://www.xiladaili.com/https/'):
    # 构建header
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36',
        'Cookie': 'Hm_lvt_9bfa8deaeafc6083c5e4683d7892f23d=1631780310; Hm_lpvt_9bfa8deaeafc6083c5e4683d7892f23d=1631780310',
    }
    # 发送请求
    respons = requests.get(urls, headers=headers, )
    # 延时2秒等待数据加载完成在获取
    time.sleep(2)
    # 获取内容，转换成html格式
    html_content = etree.HTML(respons.content.decode('utf-8'))
    # 读取内容
    tbody_list = html_content.xpath("//*[@class='fl-table']/tbody/tr")
    if len(tbody_list):
        # 遍历内容
        for tbody in tbody_list:
            # 直接获取ip地址+端口号
            ip_name = tbody.xpath('./td[1]/text()')[0]
            # 添加到数组
            list_ips.append(ip_name)
        else:
            # 获取下一页链接
            next_url_xpath = html_content.xpath("//*[text()='下一页']/@href")
            if len(next_url_xpath):
                # 只提前30页ip，该网站一共有2000多页，我们只需要提前30页即可
                if (next_url_xpath[0] == '/https/30/'):
                    print('到30页了')
                    return
                # 拼接下一页地址
                next_url = 'http://www.xiladaili.com' + next_url_xpath[0]
                print(next_url)
                # 递归调用自己
                get_https_ip(next_url)
            else:
                print('没有下一页了')
    else:
        print('没获取到数据')
        # 该网站存在，因为前30页数据中，某一页突然没数据，然后隔一页才有，因此在这需要再次获取下一页链接
        next_url_xpath = html_content.xpath("//*[text()='下一页']/@href")
        if len(next_url_xpath):
            if (next_url_xpath[0] == '/https/30/'):
                print('到100页了')
                return
            next_url = 'http://www.xiladaili.com' + next_url_xpath[0]
            print(next_url)
            get_https_ip(next_url)
        else:
            print('没有下一页了')
    # 返回数据
    return list_ips
# 调用方法
if __name__ == '__main__':
   list_ip = get_https_ip()
   print(list_ip)

3. 爬取第三个网站中所有的ip地址

第三个网站做了反爬措施！！！
用户打开以后不能复制，不能右键，端口号是图片组成
因此我们要获取图片，然后识别图片中的数字来获取端口号

3.1 通过图片url获取图片内容,并且识别图片中数字

# 头文件需要安装,同时还得需要安装tesseract,具体的可以参考百度!!!
import pytesseract
from PIL import Image

# 通过图片的url，下载图片到本地，然后在通过ocr进行识别，最后返回图片内容
def getImageWithocr(image_url):
    headers = {
        'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36',
        'cookie': 'MIMVPSESSID=js2d5ibkumcpibthk64mmf85sa; Hm_lvt_51e3cc975b346e7705d8c255164036b3=1631607506,1631677690,1631849436; Hm_lpvt_51e3cc975b346e7705d8c255164036b3=1631858821',
    }
    responds = requests.get(image_url, headers=headers)
    # 存储到本地port_image文件夹下面
    with open("port_image/background_pic.png", "wb") as f:
        f.write(responds.content)
    try:
    	# 这里识别以后有可以把8识别成B，有可能有‘,’，因此需要转换!!! 
        text = pytesseract.image_to_string(Image.open('port_image/background_pic.png')).replace(',', '').replace('B',
                                                                                                                 '8')
        # print(text)
    except:
        print('读取失败,没有找到图片')
	# 最后返回图片内容
    return text

3.2 爬取数据

# 接上面代码
# 因为免费用户只能查看第一页ip，所以不用翻页
def getProxyip(urls='https://proxy.mimvp.com/freeopen?proxy=in_hp&sort=&page=1'):
    headers = {
        'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36',
        'cookie': 'MIMVPSESSID=2o7m730du3qm487gpjgh7cjmbc; Hm_lvt_51e3cc975b346e7705d8c255164036b3=1631860283; Hm_lpvt_51e3cc975b346e7705d8c255164036b3=1631860283',
    }
    responds = requests.get(urls, headers=headers)
    html_content = etree.HTML(responds.content.decode('utf-8'))
    allips = html_content.xpath("//*[@class='mimvp-tbl free-proxylist-tbl']/tbody/tr")
    if len(allips):
        for ip_name_item in allips:
        	# 获取ip地址
            ip_name = ip_name_item.xpath('./td[2]/text()')[0]
            # 获取端口号图片
            image_url = 'https://proxy.mimvp.com' + ip_name_item.xpath('./td[3]/img/@src')[0]
            # 识别出端口号
            port_name = getImageWithocr(image_url)
          	# 拼接地址
            ips = ip_name + ':' + port_name.replace('\n', '').replace('\x0c', '')
            # 添加数据
            list_ips.append(ips)
    else:
        print('没有获取到ip地址')
    return list_ips
    
# 调用方法
if __name__ == '__main__':
   list_ip = getProxyip()
   print(list_ip)

二、检测可用代理IP

1. 检测原理

检测原理：通过代理IP访问https://www.baidu.com
如果能够访问说明代理IP可以使用，否则不能使用

2. 检测代码

代码如下：

import requests
import threading
# test_csd.py 就是上一步获取所有代理ip的文件，通过导入这个文件可以直接调用内部方法，得到代理ip的数组
import test_csd


def jc_net(ips):
	''' 
	  # 设置代理,此处需要注意一下
	  # 有的是需要 {'https': 'https://+'ips}, urllib版本号不同设置代理方式不同,我的是1.22
	'''
    proxy = {'https': ips}
    # 以百度为例
    url = 'https://www.baidu.com'
    # 构建header
    head = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36',
        'Connection': 'keep-alive'}
    try:
    	# 用代理请求百度,设置超时时间20秒
        response = requests.get(url, proxies=proxy, headers=head, timeout=20)
    except (requests.exceptions.ConnectTimeout, requests.exceptions.ProxyError, requests.exceptions.SSLError,
            requests.exceptions.ConnectionError) as e:
        # 捕获异常，此处说明代理不可用!!   
        print("443失败", ips)
    else:
    	# 此处说明代理可用
    	# 有需要的可以把可用代理添加到数组中，或者执行其他任务
    	
    	# 以本代码为例:
    	# 1.获取当前目录下所有的log文件
        log_list = file_name('./')
        # 2.把当前可用的代理ip转换成'123_345_793_8080.log'形式，用来当做log日志
        str_ip_log = ips.replace('.', '_').replace(':', '_') + '.log'
        # 3.遍历一下当前目录所有的log文件
        for logs in log_list:
        	# 如果有相同的，说明执行过这个任务，就不必要再次执行了 
            if str_ip_log == logs:
                print('有一样的,这个IP不符合', logs)
                return
        else:
        	# 此处是可以执行的ip
            print('可以执行的IP', ips, response.status_code)
            # 终端后台执行任务，并把日志文件以代理ip的形式输出 csdn_request3.py文件就是刷博客的文件
            ml = 'nohup python3 -u csdn_request3.py %s > %s 2>&1 &' % (ips, str_ip_log)
            os.system(ml)
            
# 获取当前目录下所有的.log文件
def file_name(file_dir):
    L = []
    for root, dirs, files in os.walk(file_dir):
        for file in files:
            if os.path.splitext(file)[1] == '.log':
                L.append(file)
    return L

# 程序运行
if __name__ == '__main__':
  
    # 1.get_url  2.get_https_ip   3.getProxyip
    # 只有要调用1 ，2 ，3的方法就能得到ip的数组
    list_ip = test_csd.get_url()
    # 遍历数组
    for ips in list_ip:
    	# 用多线程方式执行效率比较高
        sub_thread = threading.Thread(target=jc_net, args=(ips,))
        sub_thread.start()
Ares码农人生
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python抓取数据包_python抓数据包
weixin_39687621的博客
11-29 1650
广告关闭腾讯云11.11云上盛惠 ，精选热门产品助力上云，云服务器首年88元起，买的越多返的越多，最高返5000元！前言：数据科学越来越火了，网页是数据很大的一个来源。 最近很多人问怎么抓网页数据，据我所知，常见的编程语言(c++,java,python)都可以实现抓网页数据，甚至很多统计计算的语言(r,matlab)都有可以实现和网站交互的包。 本人试过用java,python,r抓网页，感觉语...
Python 抓取可用代理IP
浅醉樱花雨的专栏
03-07 3292
问题描述在做数据抓取的时候，经常会碰到有些网站对同一IP的访问频率做限制。遇到这种情况一般只有两种解决方案：降低抓取频率。这种方法在数据变化不频繁，数据量不大的情况下还好，但是，如果数据变化频繁或者数据量庞大，此方法明显不能满足需求。使用代理IP。抓取的过程中，经常更换代理IP，这种方法基本可以有效解决同一IP访问频率限制的问题。此方案的难点在于如何获取大量可用的代理IP。代理IP获取代理IP的获...
可靠：Python请求https网站代理IP爬取
aimersong69的博客
08-25 1952
请勿非法使用，仅做测试学习！
python 通过代理抓取数据
冲吧，不要停！
09-17 1438
前言 有一些网站和数据，是不通过代理访问不到的（不管是不是正经的 :) ）。如何用Python抓取这些数据呢？ 正文1，设置代理因为我们的程序是在终端里执行，所以需要先设置一下： - 设置在终端下能够使用代理 - 启用ss代理，且本地代理为socks5://127.0.0.1:1080可以参考文章：Make the python requests work via socks proxy o
Python爬虫实战：利用代理IP获取电商数据
热门推荐
努力让自己发光，对的人才能迎着光而来
05-27 20万+
● 电商数据对于了解用户行为、优化营销策略、提高转化率等方面具有重要作用。●通过分析用户数据，企业可以找到目标用户，精准投放广告和推广活动，有效提高广告的转化率和投资回报率。●电商数据还可以用于个性化推荐、营销活动优化、供应链管理等场景，帮助企业提升用户体验和运营效率。亮数据代理IP免费试用。
处理 python 无法抓取 HTTPS 请求
FengHuaJianShi的专栏
04-18 3619
处理方法：声明 verify = False 例：（以下请求中，博主都已开启了抓包工具） 当开启抓包工具时，请求 https 会报出异常，无法正常请求 r = requests.get('https://www.baidu.com/' ,verify = False) dang声明 verify = False,才能正常返回抓取信息
Python网页抓取教程
candice931020的博客
09-24 1万+
​— Python网页抓取教程:循序渐进 — 抓取网页入门其实挺简单的。在之前的文章中我们介绍了怎么用C#和JAVA两种方法来抓取网页，这一期给大家介绍一种更容易，也是使用最广泛的一种抓取方法，那就是Python。 说起Python，大家应该并不陌生，它是目前入门最简单的一种方法了，因为它是一种面向对象的语言。Python的类和对象比任何其他语言都更容易使用。此外，Python存在许多库，因而在Python中构建用于网页抓取的工具轻而易举。 在这篇Python网络抓取教程中，我们将分步骤讲解如何利..
使用python抓取App数据_python爬虫app
2401_84557750的博客
04-29 480
选中"Allow remote computers to connect". 是允许别的机器把HTTP/HTTPS请求发送到Fiddler上来。首先下载夜神模拟器模拟手机也可以用真机，然后下载Fiddler抓取手机APP数据包，分析接口完成以后使用Python实现爬虫程序。打开Fiddler, Tools-> Fiddler Options (配置完后记得要重启Fiddler)安装完成桥接驱动后配置IP地址，要配成和本机互通的网段，配置完成后打开主机cmd终端ping通ok。####爬取充电网APP实例。
python 抓取 快代理-开放代理 IP
清风冷吟
01-28 566
python 抓取 快代理-开放代理 IP简介 简介 抓取快代理-开放代理栏目； 默认抓取所有的数据，共10页； 抓取关键词： ip port； 时间间隔默认：2s，时间太短会导致抓取失败； 保存形式：text文本 创建KuaiDaiLiOps.py #! /usr/bin/env python # -*- coding: utf-8 -*- import os import re impor...
快醒醒，别睡了!...讲《数据分析pandas库》了—/—＜4＞
qq_64603703的博客
07-27 681
详细解说数据分析pandas库中的常用方法
全网最详细Gradio教程系列5——Gradio Client: python
shao918516的博客
07-26 790
程序部署完成后，如何将Gradio App作为API访问使用呢，这就用到Gradio Client。本章讲解Gradio Client的三种使用方式：python、javascript和curl，受字数限制，所以分三篇博客发布。 使用Gradio Python Client非常易于将Gradio应用程序作为API使用，本节讲述gradio_client安装、如何连接Gradio应用程序、查看可用API及其使用方式、job及session等用法。 通过Gradio Python Cli
全面解析 SnowNLP：中文文本处理、情感分析
有勇气的牛排博客
07-24 499
SnowNLP 是一个专门用于处理中文文本的 Python库。分词情感分析关键词提取文本分类拼音转换繁体转简体词相似度计算等测试环境：Python3.10.9尚未测出该功能text = "有勇气的牛排写的文章通俗易懂，爱了爱了"文本分类使用的是 SnowNLP 的情感分析模型。
Chapter 18 Python异常
最新发布
2302_80253507的博客
07-28 773
在Python中，异常是一种特定的对象，能够在程序运行过程中被抛出和处理。有效地管理异常不仅可以增强程序的稳定性，还可以提高用户体验，使程序能够优雅地处理错误情况。本章详细讲解了异常的基本概念以及如何捕获和处理异常。
安卓手机部署大模型实战
奇舞周刊
07-25 679
本文作者系360奇舞团前端开发工程师前言自ChatGPT发布以来，大语言模型（Large language model, LLM)就成了AI乃至整个计算机科学的话题中心。学术界，工业界围绕大语言模型本身及其应用展开了广泛的讨论，大量的新的实践层出不穷。由于LLM对计算资源的需求极大，有能力部署大语言模型的公司和实验室一般通过搭建集群，然后开放API或者网页demo的方式让用户可以使用模型。在人们纷...
【Python数据增强】图像数据集扩充
阿齐Archie
07-25 1659
该脚本用于图像数据增强，特别是目标检测任务中的图像和标签数据增强。通过应用一系列数据增强技术（如旋转、平移、裁剪、加噪声、改变亮度、cutout、翻转等），生成多样化的图像数据集，以提高目标检测模型的鲁棒性和准确性。
python语言利用Tkinter实现GUI计算器|（二）优化计算器：过滤用户不合理的输入
人工智能视觉分析算法学习实践和经验分享。
07-27 566
python语言利用Tkinter实现GUI计算器|（二）优化计算器python语言利用Tkinter实现GUI计算器|（二）计算器打包。
【Python】 基于Q-learning 强化学习的贪吃蛇游戏（源码+论文）【独一无二】
测试开发自动化
07-26 1434
贪吃蛇环境模块：定义了游戏规则、状态空间、动作空间，并实现了环境的重置和步进逻辑。Q-learning 算法代理模块：实现了 Q-learning 算法，用于学习和决策游戏中的动作选择。游戏窗口模块：使用 Tkinter 创建图形界面展示游戏过程，并与环境和 Q-learning 代理进行交互。该设计使得贪吃蛇游戏能够通过强化学习算法进行自动训练，并通过图形界面展示训练过程。👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “ 强化贪吃蛇 ” 获取，拿来即用。👈👈👈。
第G2周：人脸图像生成（DCGAN）
lihuhelihu的博客
07-23 996
除了生成器模型的输出层和判别器模型的输入层，在整个对抗网络的其它层上都使用了Batch Normalization，原因是Batch Normalization可以稳定学习，有助于优化初始化参数值不良而导致的训练问题。通过这些层的组合，输入的图像逐渐被降维并提取特征，最终输出一个标量值，表示输入图像被判别为真实图像的概率。总体来说，这段代码实现了GAN的训练过程，通过交替更新判别器和生成器的参数，目标是使生成器生成逼真的图像样本，同时判别器能够准确区分真实图像样本和生成图像样本。
python 抓取小红书
08-24
要使用Python来抓取小红书的内容，可以参考以下步骤和方法： 1. 了解小红书页面结构与请求方式。从中可以得知小红书的文章url是固定的格式，可以通过获取这个url来获取文章内容。 2. 下载小红书的app或者查看微信...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值