Python 爬虫之使用代理ip

本文探讨了在Python爬虫过程中遇到的IP被目标网站封禁的问题。提出了两种解决方案:一是通过time.sleep降低访问速度以减少被封几率;二是采用代理IP,特别是西刺代理提供的IP,以提高爬虫效率并规避封禁风险。
摘要由CSDN通过智能技术生成

我们在爬取数据的时候有可能会出现爬到一半就不动了,有可能是因为目标网站封了你的ip,因为程序的运行是非常快的,人为的访问速度没有那么快,所以会被封,所谓道高一尺魔高一丈,我们可以有多种方法可以避免这种问题

第一种:

降低访问速度,我们可以使用time模块中的sleep,使程序每运行一次后就睡眠1s,这样的话就可以大大的减少ip被封的几率

第二种:

为了提高效率,我们可以使用代理ip来解决,ip是西刺代理的ip,代码我贴出来

# encoding: utf-8
import requests
import json

from lxml import etree

def get_page(url):
    head ={
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:52.0) Gecko/20100101 Firefox/52.0"
    }
    response = requests.get(url=url, headers=head).text
    # print(response)
    html = etree.HTML(response)
    return parse(html)

def paging():
    ip_dict = {}
    for page in range(1, 11):
        url = "http://www.xicidaili.com/nn/{}".format(page)
        ip_dict[page] = get_page(url)
    data = json.dumps(ip_dict)
    with open('ip.json', 'a+') as f:
        f.write(data)

def parse(html):
    list_ip = []
    contents = html.xpath("//table[@id='ip_list']/tr[position()>1]")
    for content in contents:
        ip = content.xpath("./td[2]/text()")[0]
        port = content.xpath("./td[3]/text()")[0]
        mold = content.xpath("./td[6]/text()")[0]
        # print(ip, port, mold)
        list_ip.append(mold.lower()+':'+ip+":"+port)
    return list_ip


if __name__ == '__main__':
    paging()
复制以上的代码保存为*.py文件就可以了, 保存完之后运行,可以使用这个网站测试我们访问网站的ip: 测试ip

Python爬虫代理IP代理是一种在使用Python爬虫时,通过使用代理IP来隐藏真实的IP地址,以防止被目标网站封禁或限制访问。这样可以有效地绕过网站的反爬取技术,并且可以实现高强度、高效率地爬取网页信息而不给网站服务器带来过大的压力。 为了实现代理IP代理,可以按照以下步骤进行操作: 1. 首先,需要获取稳定的代理IP列表。可以参考相关博客或网站,如《python爬虫设置代理ip池——方法(二)》,从购买或获取代理IP。 2. 接下来,在Python代码调用代理IP。可以使用以下代码获取代理IP列表并随机选择一个IP作为代理: ```python if __name__ == '__main__': url = 'http://www.xicidaili.com/nn/' ip_list = get_ip_list(url) proxies = get_random_ip(ip_list) print(proxies) ``` 其,`get_ip_list()`函数用于获取代理IP列表,`get_random_ip()`函数用于从列表随机选择一个IP作为代理。 通过以上步骤,就可以使用代理IP实现Python爬虫代理IP代理功能了。这样可以有效地绕过网站的反爬取技术,并且提高爬取效率。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [python爬虫设置代理ip池——方法(一)](https://blog.csdn.net/weixin_40372371/article/details/80154707)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值