爬虫(3)之ip代理

最新推荐文章于 2024-08-06 17:45:33 发布
最新推荐文章于 2024-08-06 17:45:33 发布
阅读量442 收藏 7
点赞数 1
分类专栏： 爬虫技术 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yzhua_777/article/details/105752980
版权

为什么ip会被封？
当我们爬取一些网站时，会发现ip被封了。这是因为网站为了防止被爬取，会有反爬机制，对于同一个ip地址的大量同类型的访问，会封锁ip，过一段时间后才能继续访问

如何解决ip被封的问题？
有几种方法：
1.修改请求头，模拟浏览器（不是代码去直接访问）访问
2.使用代理ip并轮换
3.设置访问时间间隔

如何获取代理ip地址

  • 从该网站获取：https://www.xicidaili.com/
  • inspect->鼠标定位
  • 要获取的代理ip地址，属于class='odd’标签的内容：
    在这里插入图片描述
#将获取的代理ip保存到proxy_ip_list列表中
#导入相关库
from bs4 import BeautifulSoup
import requests
import time
def open_proxy_url(url):
    user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'
    headers = {'User-Agent': user_agent}
    try:
        r = requests.get(url, headers = headers, timeout = 20)
        r.raise_for_status()#检查是否响应
        """
        apparent_encoding会从网页的内容中分析网页编码的方式，所以apparent_encoding比encoding更加准确。当网页出现乱码时可以把apparent_encoding的编码格式赋值给encoding。
        encoding是从http中的header中的charset字段中提取的编码方式，若header中没有charset字段则默认为ISO-8859-1编码模式，则无法解析中文，这是乱码的原因 
        """
        r.encoding = r.apparent_encoding#上面的注释是encoding和apparent_encoding之间的区别
        return(r.text)
    except:
        print('无法访问网页' + url)


def get_proxy_ip(response):
    proxy_ip_list = []
    soup = BeautifulSoup(response, 'html.parser')
    proxy_ips  = soup.select('.odd')#选择标签
    for proxy_ip in proxy_ips:
        ip = proxy_ip.select('td')[1].text
        port = proxy_ip.select('td')[2].text
        protocol = proxy_ip.select('td')[5].text
        if protocol in ('HTTP','HTTPS'):
            proxy_ip_list.append(f'{protocol}://{ip}:{port}')
    return proxy_ip_list
if __name__ == '__main__':
    proxy_url = 'https://www.xicidaili.com/'
    text = open_proxy_url(proxy_url)
    proxy_ip_filename = 'proxy_ip.txt'
    with open(proxy_ip_filename, 'w') as f:
        f.write(text)
    text = open(proxy_ip_filename, 'r').read()
    proxy_ip_list = get_proxy_ip(text)
    print(proxy_ip_list

在这里插入图片描述
获取上面数据的时候发现缺失了一些数据，并非所有的ip地址所在的class都是odd,换另外一种方式来bs4的find_all(‘tr’)来获取所有的ip

def open_proxy_url(url):
    user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'
    headers = {'User-Agent': user_agent}
    try:
        r = requests.get(url, headers = headers, timeout = 20)
        r.raise_for_status()#检查是否响应
        """
        apparent_encoding会从网页的内容中分析网页编码的方式，所以apparent_encoding比encoding更加准确。当网页出现乱码时可以把apparent_encoding的编码格式赋值给encoding。
        encoding是从http中的header中的charset字段中提取的编码方式，若header中没有charset字段则默认为ISO-8859-1编码模式，则无法解析中文，这是乱码的原因 
        """
        r.encoding = r.apparent_encoding#上面的注释是encoding和apparent_encoding之间的区别
        return(r.text)
    except:
        print('无法访问网页' + url)

proxy_url = 'https://www.xicidaili.com/'
text = open_proxy_url(proxy_url)
proxy_ip_filename = 'proxy_ip.txt'
with open(proxy_ip_filename,'w') as f:
    f.write(text)
text = open(proxy_ip_filename, 'r').read()
proxy_ip_list = get_proxy_ip(text)
soup = BeautifulSoup(text, 'html.parser')
proxy_ips = soup.find(id='ip_list').find_all('tr')
tplt = "{0:^4}\t{1:^6}\t{2:^10}\t{3:^16}\t{4:24}"
print(tplt.format("序号","协议","ip地址","端口port","所在地址"))
count = 0
for proxy_ip in proxy_ips:
    if len(proxy_ip.select('td')) >= 8:
        count += 1
        ip = proxy_ip.select('td')[1].text
        port = proxy_ip.select('td')[2].text
        protocol = proxy_ip.select('td')[5].text
        address = proxy_ip.select('td')[3].text
        if protocol in ('HTTP','HTTPS','http','https'):
            print(tplt.format(count, protocol, ip, port, address))

在这里插入图片描述
找到ip代理之后，需要使用代理

  • proxies的格式是一个字典
  • {‘http’:‘http://IP:port’,‘https’:‘https://IP:port’}
  • 把它直接传入requests的get方法中就可以了
  • web_data = requests.get(url, headers=headerse, proxies=proxies)
def open_url_using_proxy(url, proxy):
    user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'
    headers = {'User-Agent':user_agent}
    proxies = {}
    if proxy.startswith('HTTPS'):
        proxies['https'] = proxy
    else:
        proxies['http'] = proxy
    try:
        r = requests.get(url, headers=headers, proxies=proxies, timeout=10)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return (r.text, r.status_code)
    except:
        print('无法访问网页'+url)
        return False

url = 'http://www.baidu.com'
text = open_url_using_proxy(url, proxy_ip_list[0])
text

在这里插入图片描述
确认ip地址是否有效

  • 无论是免费的还是收费的代理网站，提供的ip代理都未必有效，我们应该验证一下，有效后，再放入代理池中去。可以通过几种方式：
    1.访问网站，得到的返回码是200
    2.真正的访问某些网站，获取title等，验证title与预计的是否相同
    3.访问某些可以提供被访问的ip的网站，类似于’查询我的ip’的网站，查看返回的ip地址是什么
    4.验证返回码
def check_proxy_avaliability(proxy):
    url = 'http://www.baidu.com'
    result = open_url_using_proxy(url, proxy)
    VALID_PROXY = False
    if result:
        text, status_code = result
        if status_code == 200:
            print('有效代理IP:' + proxy)
        else:
            print('无效代理IP:' + proxy)

for proxy in proxy_ip_list:
    check_proxy_avaliability(proxy)

大多数是无效的，无法访问网页的。
在这里插入图片描述
确认网站title

def check_proxy_avaliability(proxy):
    url = 'http://www.baidu.com'
    text, status_code = open_url_using_proxy(url, proxy)
    VALID = False
    if status_code == 200:
        if r_title:
            if r_title[0] == '<title>百度一下，你就知道</title>':
                VALID = True
    if VALID:
        print('有效代理IP: ' + proxy)
    else:
        print('无效代理IP: ' + proxy)

看一下完整的代码:

from bs4 import BeautifulSoup
import requests
import re
import json


def open_proxy_url(url):
    user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'
    headers = {'User-Agent': user_agent}
    try:
        r = requests.get(url, headers = headers, timeout = 10)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        print('无法访问网页' + url)


def get_proxy_ip(response):
    proxy_ip_list = []
    soup = BeautifulSoup(response, 'html.parser')
    proxy_ips = soup.find(id = 'ip_list').find_all('tr')
    for proxy_ip in proxy_ips:
        if len(proxy_ip.select('td')) >=8:
            ip = proxy_ip.select('td')[1].text
            port = proxy_ip.select('td')[2].text
            protocol = proxy_ip.select('td')[5].text
            if protocol in ('HTTP','HTTPS','http','https'):
                proxy_ip_list.append(f'{protocol}://{ip}:{port}')
    return proxy_ip_list


def open_url_using_proxy(url, proxy):
    user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'
    headers = {'User-Agent': user_agent}
    proxies = {}
    if proxy.startswith(('HTTPS','https')):
        proxies['https'] = proxy
    else:
        proxies['http'] = proxy

    try:
        r = requests.get(url, headers = headers, proxies = proxies, timeout = 10)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return (r.text, r.status_code)
    except:
        print('无法访问网页' + url)
        print('无效代理IP: ' + proxy)
        return False
        
        
def check_proxy_avaliability(proxy):
    url = 'http://www.baidu.com'
    result = open_url_using_proxy(url, proxy)
    VALID_PROXY = False
    if result:
        text, status_code = result
        if status_code == 200:
            r_title = re.findall('<title>.*</title>', text)
            if r_title:
                if r_title[0] == '<title>百度一下，你就知道</title>':
                    VALID_PROXY = True
        if VALID_PROXY:
            check_ip_url = 'https://jsonip.com/'
            try:
                text, status_code = open_url_using_proxy(check_ip_url, proxy)
            except:
                return

            print('有效代理IP: ' + proxy)
            with open('valid_proxy_ip.txt','a') as f:
                f.writelines(proxy)
            try:
                source_ip = json.loads(text).get('ip')
                print(f'源IP地址为：{source_ip}')
                print('='*40)
            except:
                print('返回的非json,无法解析')
                print(text)
    else:
        print('无效代理IP: ' + proxy)
    
if __name__ == '__main__':
    proxy_url = 'https://www.xicidaili.com/'
    proxy_ip_filename = 'proxy_ip.txt'
    text = open(proxy_ip_filename, 'r').read()
    proxy_ip_list = get_proxy_ip(text)
    for proxy in proxy_ip_list:
        check_proxy_avaliability(proxy)

在这里插入图片描述
在这里插入图片描述
关于http和https代理的那些事
可以看到proxies中有两个键值对：
{‘http’: ‘http://IP:port‘,‘https’:'https://IP:port‘}
其中 HTTP 代理，只代理 HTTP 网站，对于 HTTPS 的网站不起作用，也就是说，用的是本机 IP，反之亦然。
我刚才使用的验证的网站是https://jsonip.com, 是HTTPS网站
所以探测到的有效代理中，如果是https代理，则返回的是代理地址
如果是http代理，将使用本机IP进行访问，返回的是我的公网IP地址
在这里插入图片描述

yzhua_777
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
聊聊爬虫和IP代理
m0_72829928的博客
09-27 947
动态代理IP，指访问目标网站服务器的代理IP是不断变化的。这种设置的优势明显。TIPS：平时我们需要用到爬虫时，如果IP被限制速度什么的，可以自定义一个时间自动切换ip，这样就可以提高爬虫下效率啦~当然，一般爬虫只是。这种方式，当代理连接发生错误时，会直接抛出异常，而并不是使用本地的连接继续访问。这是最简单的使用代理Ip的方式，直接在浏览器上设置代理服务器，然后访问网站。按协议类型分类，代理IP分为http(s)代理IP和socks5代理IP。按时效划分的话，可将代理IP分为静态代理IP和动态代理IP。
Python爬虫使用代理IP的实现
09-18
在Python爬虫开发中，有时候我们需要借助代理IP来避免因为频繁访问某个网站而导致IP被封。代理IP可以作为中间人，让我们的请求看起来是从其他IP发出的，从而提高爬虫的生存能力。本文将详细介绍如何在Python爬虫中...
Python爬虫实战：利用代理IP获取电商数据
热门推荐
努力让自己发光，对的人才能迎着光而来
05-27 20万+
● 电商数据对于了解用户行为、优化营销策略、提高转化率等方面具有重要作用。●通过分析用户数据，企业可以找到目标用户，精准投放广告和推广活动，有效提高广告的转化率和投资回报率。●电商数据还可以用于个性化推荐、营销活动优化、供应链管理等场景，帮助企业提升用户体验和运营效率。亮数据代理IP免费试用。
Python爬虫设置ip代理过程解析
12-17
1、get方式：如何为爬虫添加ip代理，设置Request header（请求头） import urllib import urllib.request import urllib.parse import random import time from fake_useragent import UserAgent ua = UserAgent() ...
python爬虫代理ip
01-06
这里面有无数个ip地址，用于爬虫方面 ip.pkl文件可以由python的pickle库中的load函数导入成链表
Java网络爬虫抓取代理ip
06-12
通过Java网络爬虫爬取指定代理ip网上的ip，利用了jsoup、httpclient技术实现
python编写的爬虫代理ip池.zip
03-03
python编写的爬虫代理ip池.zip 运行环境 python3 和mysql数据库 下载使用 下载源码 git clone .git 或者在下载zip文件 安装依赖 pip install -i https://pypi.douban.com/simple/ -r requments.txt 创建数据库 ...
jupyter下载
Einstein·Jun
08-06 235
Anaconda下载 参考链接：https://blog.csdn.net/qq_48372575/article/details/125630622 设置Jupyter Notebook的代码路径 在“此电脑”中搜索。删除最后一个""后面的的内容，包括“\”。 用记事本打开它。 按下ctrl+F就可以开始查找。查找内容如下： 找到之后，右键该文件，找到“发送到”，找到“桌面快捷方式”。然后就会发现桌面上已经建立好了！
在 Python 和 C++ 环境下安装和使用 ONNX Runtime
CDBmax的博客
08-03 315
对于 GPU 版本的 ONNX Runtime，需要安装 CUDA 和 cuDNN。请检查 CUDA 执行提供程序的要求以获取兼容版本的 CUDA 和 cuDNN。通过上述步骤和示例代码，您可以在 Python 和 C++ 环境下安装并使用 ONNX Runtime 进行模型推理。《windows端可以用 vs编辑器配置相应的头文件、库文件》《这部分可以去B站有很多教学视频讲的更详细》
【面试题】寻找两个正序数组的中位数
联系方式：927632640
08-06 301
面试学习给定两个大小分别为 m 和 n 的正序数组 nums1 和 nums2，我们需要找到这两个数组的中位数。下面是详细的解题步骤和 Python 代码示例。
Java 设计模式之桥接模式（Bridge Pattern）
微笑听雨
08-05 873
桥接模式（Bridge Pattern）是一种用于将抽象部分与其实现部分分离的结构型设计模式。这种模式通过组合关系而不是继承关系来连接抽象与实现，使代码更具扩展性和维护性。桥接模式的核心思想是将抽象和实现解耦，使得两者可以独立变化。桥接模式（Bridge Pattern）是一种结构型设计模式，旨在将抽象部分与其实现部分分离，从而使两者可以独立地变化。桥接模式通过组合关系代替继承关系，将抽象和实现解耦，使代码更具扩展性和维护性。
书生大模型实战营第三期——入门岛——python基础知识
最新发布
qq_46576562的博客
08-06 154
昇思基础课程打卡（SPONGE课前学习）9.使用静态图加速
cftang9999的专栏
08-06 314
AI编译框架分为两种运行模式，分别是动态图模式以及静态图模式。MindSpore默认情况下是以动态图模式运行，但也支持手工切换为静态图模式。
PAI-DSW中对齐NoteBook和命令行的Python环境
MilkLeong的博客
08-02 731
我认为在最开始NoteBook和命令行的Python环境是一致的，只是我前面在部署LLaMA-Factory时进行了如下操作将命令行的Python环境改成了/root/anaconda3/bin/python。具体详见。
python中的三元表达式
cyj0919的博客
08-01 275
三元表达式是一种简洁的方式来根据某个条件选择两个值中的一个。它由三个部分组成：条件判断、冒号(:)、然后是两个可能的结果。
python---为某个项目使用虚拟环境
weixin_45880844的博客
08-01 705
通过在虚拟环境中开发，你可以确保你的代码在不同环境中（包括生产环境）的表现一致，因为依赖是被隔离和明确定义的。：如果你正在开发自己的Python包，并且希望在项目中使用它，你可以轻松地将包链接到虚拟环境中进行测试。：虚拟环境允许你为特定项目使用不同版本的Python解释器，即使全局环境中使用的是另一版本。：不同项目可能需要不同版本的库。：虚拟环境可以包含安全补丁或特定版本的库，而不影响全局环境中的库，这有助于减少安全风险。：在虚拟环境中，你可以安全地尝试新的包或工具，而不会影响到你主要的工作环境。
pycharm无法导入pyside2模块；“ModuleNotFoundError: No module named ‘PySide2“
yrx020307的博客
08-01 274
出现报错““ModuleNotFoundError: No module named ‘PySide2’””后，看来很多博客，都不能解决，只有这篇博客提供了思路；2）.ui转化为.py后，点击运行，报错““ModuleNotFoundError: No module named ‘PySide2’””https://blog.csdn.net/weixin_61891798/article/details/127097989。按照博客的指引，和命令行的提示，我找到了pyside2的包；
灰狼优化算法（GWO）与门控循环单元（GRU）结合的预测模型（GWO-GRU）及其Python和MATLAB实现
qq_45441438的博客
08-03 1028
这一创新性的实践强调了优化算法在深度学习中的重要性，未来的研究可以进一步探索GWO在其他深度学习模型中的应用，以及如何将多种优化算法结合以应对更为复杂的预测任务。通过不断的实验与分析，能够推动时序数据分析领域的进一步发展，开辟更广泛的应用可能性。- 在智能电网中，通过采集历史用电数据，使用GRU进行预测，GWO优化其超参数，从而准确预测未来的电力需求，辅助电网的合理调配。- 在股票市场中，利用历史价格、交易量等数据进行预测，通过GRU捕捉趋势变化，并通过GWO优化模型的参数，提高预测的准确性。
python3 pyside6图形库学习笔记及实践（三）
qq_27489877的博客
08-05 693
本系列文章为b站PySide6教程以及官方文档的学习笔记。本文内容包括菜单栏、上下文菜单、折叠菜单以及资源的加载。
python库（18）：Sympy库
u013938578的博客
08-05 366
Python SymPy是一个强大的符号计算库，用于解决数学问题、代数运算、微积分、代数方程求解和符号化处理等任务。SymPy的设计目标是提供一个开源、可扩展的符号计算工具，使数学建模和问题求解变得更加容易。本文将提供关于Python SymPy的全面指南，包括基本概念、安装和配置、符号表达式、代数运算、微积分、方程求解、矩阵操作以及实际应用场景。将通过丰富的示例代码来帮助深入理解SymPy的使用。与我们常用的数学库NumPy不同，Sympy能够处理符号表达式，而不仅仅是数值计算。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值