写个爬虫——爬取代理IP

最新推荐文章于 2022-01-10 11:32:02 发布
最新推荐文章于 2022-01-10 11:32:02 发布
阅读量963 收藏 2
点赞数 1
分类专栏： python 文章标签： 代理IP 爬虫 验证代理活性 验证代理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42120178/article/details/82690035
版权

写爬虫用上代理IP是很常见的事情，那么我们就写一个包来方便自己以后写爬虫。

还是用的老IP网站——http://www.xicidaili.com/

获取的是高匿的代理页面，可以上西刺代理网站上看源代码，发现写的不是很正规，我用的是xpath的方法抓取网页内容，也可以用re正则的方法来，个人认为xpath比较简单，速度也不慢。

下面是核心实现部分的代码：

def GetIP(nub, HTTPUrl=0, HTTPSUrl=0):
    '''
        获取ip
        nub 是获取的有效代理IP数量
        detectionURL 是测试的的网站URL
    '''
    print("正在获取代理IP...")
    page = 1
    while len(usableIP) <= nub:
        # print("测试第"+str(page)+"页")
        url = "http://www.xicidaili.com/nt/"+str(page)
        headers = header()
        sess = requests.Session()
        html = sess.get(url, headers=headers).text
        selector = etree.HTML(html)
        # 获取ip
        ipList = selector.xpath('//td[2]/text()')
        # 获取端口号
        portList = selector.xpath('//td[3]/text()')
        # 获取ip类型
        typeList = selector.xpath('//td[6]/text()')
        '''单个测试
        c = detectionIP('183.62.196.10', '3128', 'HTTP')
        return c
        '''

        '''这是程序测试ip可用性，速度很慢,采用多线程'''
        # 用来储存线程，这样可以让主线程等待
        threadc = []
        # 验证代理ip是否可用
        for i in range(0, 99):
            c = threading.Thread(target=detectionIP, args=(ipList[i], portList[i], typeList[i], HTTPSUrl, HTTPUrl))
            c.start()
            threadc.append(c)
        for c in threadc:
            c.join()
        page += 1
    print("获取代理IP成功")
    
    return usableIP

在上面的代码中用到了detectionIP 是用来验证代理ip的有效性的，这是我写的验证方法，不是很通用，当时也是为了下载听书小说。

验证的方法也是很简单的，就是用代理IP访问一下目标网站（最好不要用百度，因为基本上测不出来），推荐用自己要爬取的网站，这样比较有效。访问目标网站返回的code=200就算是访问成功了，但是我发现有的IP不是很健康，代理IP后不管访问什么网站都是跳转到了有道，所以在下面又做了一个小验证。

下面是验证IP的代码：

def detectionIP(ip, port, type, httpsurl, httpurl):
    '''
        IP验证存活性
    '''
    try:
        if type == 'HTTP'and httpurl != 0:
            IPAgency = {
                "http": "http://"+ip+":"+port
             }
            r = requests.get(httpurl, headers=header(), proxies=IPAgency, timeout=5)
            if r.status_code == 200:
                try:
                    content = requests.get(httpurl, headers=header(), proxies=IPAgency, timeout=5)  # 进一步测试ip的有效性
                    content.encoding = "GBK"
                    s = etree.HTML(content.text)
                    text = s.xpath('//a[@href="//www.wotingpingshu.com"]/text()')[0]  # xpath取出来的是列表
                    if text == "我听评书网":
                        usableIP.append(ip+":"+port)  # + "@" + type +" "+str(r.status_code))
                except BaseException:
                    pass
        elif type == 'HTTPS'and httpsurl != 0:
            IPAgency = {
                "https": "http://"+ip+":"+port
            }
            r = requests.get(httpsurl, headers=header(), proxies=IPAgency, timeout=5)
            if r.status_code == 200:
                usableIP.append(ip+":"+port)  #  + "@" + type" "+str(r.status_code))
    except BaseException:
        # print(ip+" 无效 "+type)
        pass

 

代码的主要部分就是上面这些，全部代码在下面：

import requests
import random
import threading
import re
from lxml import etree

headersList = [
                "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",
                "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
                "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
                "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
                "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
                "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
                "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
            ]
usableIP = []


def header():
    headers = {"User-Agent": random.choice(headersList)}
    return headers


def detectionIP(ip, port, type, httpsurl, httpurl):
    '''
        IP验证存活性
    '''
    try:
        if type == 'HTTP'and httpurl != 0:
            IPAgency = {
                "http": "http://"+ip+":"+port
             }
            r = requests.get(httpurl, headers=header(), proxies=IPAgency, timeout=5)
            if r.status_code == 200:
                try:
                    content = requests.get(httpurl, headers=header(), proxies=IPAgency, timeout=5)  # 进一步测试ip的有效性
                    content.encoding = "GBK"
                    s = etree.HTML(content.text)
                    text = s.xpath('//a[@href="//www.wotingpingshu.com"]/text()')[0]  # xpath取出来的是列表
                    if text == "我听评书网":
                        usableIP.append(ip+":"+port)  # + "@" + type +" "+str(r.status_code))
                except BaseException:
                    pass
        elif type == 'HTTPS'and httpsurl != 0:
            IPAgency = {
                "https": "http://"+ip+":"+port
            }
            r = requests.get(httpsurl, headers=header(), proxies=IPAgency, timeout=5)
            if r.status_code == 200:
                usableIP.append(ip+":"+port)  #  + "@" + type" "+str(r.status_code))
    except BaseException:
        # print(ip+" 无效 "+type)
        pass


def GetIP(nub, HTTPUrl=0, HTTPSUrl=0):
    '''
        获取ip
        nub 是获取的有效代理IP数量
        detectionURL 是测试的的网站URL
    '''
    print("正在获取代理IP...")
    page = 1
    while len(usableIP) <= nub:
        # print("测试第"+str(page)+"页")
        url = "http://www.xicidaili.com/nt/"+str(page)
        headers = header()
        sess = requests.Session()
        html = sess.get(url, headers=headers).text
        selector = etree.HTML(html)
        # 获取ip
        ipList = selector.xpath('//td[2]/text()')
        # 获取端口号
        portList = selector.xpath('//td[3]/text()')
        # 获取ip类型
        typeList = selector.xpath('//td[6]/text()')
        '''单个测试
        c = detectionIP('183.62.196.10', '3128', 'HTTP')
        return c
        '''

        '''这是程序测试ip可用性，速度很慢,采用多线程'''
        # 用来储存线程，这样可以让主线程等待
        threadc = []
        # 验证代理ip是否可用
        for i in range(0, 99):
            c = threading.Thread(target=detectionIP, args=(ipList[i], portList[i], typeList[i], HTTPSUrl, HTTPUrl))
            c.start()
            threadc.append(c)
        for c in threadc:
            c.join()
        page += 1
    print("获取代理IP成功")
    '''这是程序的最后一段，展示注释  现在不用这段代码了
    # 随机一个数，用来随机取IP及端口号
    nub = random.randint(0, 99)
    IPAgency = {
        "http": "http://"+ipList[nub]+":"+portList[nub]
    }
    '''

    '''
    newIP = []
    f = open("IP.txt", "w")
    for i in range(0, 99):
        usableIP.append(ipList[i] + ":" + portList[i])
        f.write(ipList[i] + ":" + portList[i]+"@"+typeList[i]+"\n")
    f.close()
    '''
    return usableIP


if __name__ == "__main__":
    # 测试用的是百度，但是百度屏蔽了几乎所有的免费IP代理
    IP = GetIP(3, 'http://www.wotingpingshu.com/',)
    # print("http:", ip['http'])
    pattern = re.compile(r'^(.*)\@(.*)$')
    f = open("IP.txt", "w")
    for i in IP:
        print(i)
        # print(pattern.match(i).group(1))
        f.write(i+'\n')
    f.close()

 

Dreamy_Lois
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
爬虫之正则案例
weixin_30293079的博客
03-05 213
我们一起尝试一下爬取内涵段子网站：http://www.neihan8.com/article/list_5_1.html 第一步：获取数据 1. 按照我们之前的用法，我们需要写一个加载页面的方法。 这里我们统一定义一个类，将url请求作为一个成员方法处理。 我们创建一个文件，叫duanzi_spider.py 然后定义一个Spider类，并且添加一个加载页面的成员方法 import...
C#攻克反爬虫之代理IP爬取
Leaderxin的博客
10-29 5859
目前很多大型网站在反爬虫时采取IP限制策略，限制同一个IP的请求频率及次数，或者同一IP在达到请求次数后强制登陆验证等。此时我们就需要用到代理IP来突破限制，此篇我们介绍通过DotnetSpider框架爬取西刺高匿代理IP的过程。 DotnetSpider框架简介 DotnetSpider是.net core开发的开源爬虫项目，基本开箱即用，对于爬虫各个部分的封装已经比较成熟，github下载地址...
python爬虫代理ip
侯小啾技术博客
01-10 3698
代理ip 爬虫去爬取网站数据的数据的时候，如果单位时间内爬取频次过高，或者其他的原因，被对方识别出来，ip可能会被封禁。这种情况下，通过使用代理ip来解决，作为反爬的策略。 代理ip匿名度： 透明的： 服务器知道了你使用代理ip，也知道你真实的ip 匿名代理： 知道使用了代理ip，不知道真实的ip 高匿代理： 不知道使用了代理ip，也不知道真实的ip（最好的选择） 查看ip 的方法： 在cmd输入命令行：ipconfig（内网的ip——私有的地址） 浏览器访问：ipip.net (外网，上网的ip)
Java网络爬虫抓取代理ip
06-12
通过Java网络爬虫爬取指定代理ip网上的ip，利用了jsoup、httpclient技术实现
多线程爬虫——抓取代理ip
dala_da的博客
03-04 4732
在之前的blog：使用爬虫刷csdn博客访问量中，我所使用的10个ip地址都是事先填写好的，总不能每次使用都去西刺搞10个ip贴上去吧。。。于是就试着抓了一下，发现每个ip因为都要去检验好不好用，很耽误时间。正好最近在学习多线程爬虫，试着写了一下，开辟了四个线程，速度快了很多过程中，遇到了些比较棘手的问题输出是会有两行数据输出到一行中，这个百度比较容易解决，给写入文件或输出到界面的语句加锁即可，保...
Python知乎爬虫——爬取知乎用户简单数据信息
05-08
萌新入坑代码，大佬勿喷
Python爬虫——爬取豆瓣电影Top250代码实例
09-19
主要介绍了Python爬取豆瓣电影Top250实例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
python网络爬虫——爬取新浪新闻咨询
02-25
python网络爬虫，抓取新浪新闻信息，包括新闻标题、时间、来源、正文等
python_爬虫——爬取糗事百科
03-10
亲测有效，不管是windows 还是Linux都...使用python 爬取糗事百科的段子，通过回车键控制，一次一个，同时可以把看过的内容保存到本地查看 具体实现可以参照 http://blog.csdn.net/qiqiyingse/article/details/60583129
python爬虫入门之爬取ip
为邻
03-06 252
tr 为所有ip 表格 根据 \n 切分 可获取对应字段 由于本机ip被封了，操作有点难受，就先发这么多
爬虫如何获取大量的ip?
wanbianip的博客
09-17 2433
网络信息时代，数据收集是一项繁琐而复杂的工作。许多人选择使用爬行动物来帮助他们更好地收集信息。但是如果爬虫抓取数据过于频繁，会给目标网站带来较高的负载，因此网站会采取相应的防范措施，使得爬虫无法顺利工作。 在使用爬虫的过程中，web工作者会使用HTTP代理来抓取数据。原因是抓取数据的频率太频繁，收集网站信息的强度和速度太剧烈，对对方服务器造成很大压力。于是网站启动了反爬虫技术，通过禁止IP来阻止爬虫继续工作。当你使用同一个代理IP时，抓取这个网页，网站在后台查看访问次数。如果访问次数超过，IP被目标网站屏蔽
【爬虫学习6】爬虫自动获取并使用代理ip
EmpGro的博客
10-24 9520
当同一ip短时间内多次链接同一网站，很可能导致ip被封，所以需要利用代理ip防止封禁。代理ip可以通过百度很容易的获取，于是这里使用Requests自动爬取代理网站上的ip，并验证是否可用，最后在利用代理建立一个简单的爬虫。 -本文全部代码见于我的Git 主要思路 1.从代理网站爬取IP地址及端口号并存储 2.验证ip能否使用 3.格式化ip地址 4.在requests中使用代理ip爬网站
python爬虫遇到IP被封的情况，怎么办？
热门推荐
wulishinian的博客
11-07 12万+
代理服务的介绍： 我们在做爬虫的过程中经常最初爬虫都正常运行，正常爬取数据，一切看起来都是美好，然而一杯茶的功夫就出现了错误。 如：403 Forbidden错误，“您的IP访问频率太高”错误，或者跳出一个验证码让我们输入，之后解封，但过一会又出现类似情况。 出现这个现象的原因是因为网站采取了一些反爬中措施，如：服务器检测IP在单位时间内请求次数超过某个阀值导致，称为封IP。 为了解决此类问题，代...
python爬虫十二：爬取快速ip代理，攻破503
qq_38788128的博客
05-31 7273
转：https://zhuanlan.zhihu.com/p/26701898 1.自定爬虫方法 # -*- coding: utf-8 -*- import scrapy import requests from proxy.items import ProxyItem class DxdlspiderSpider(scrapy.Spider): name = 'dxdlspide...
Python爬虫爬取开源IP
qq_42583549的博客
06-15 895
因为玩爬虫经常要换一些IP，之前写了个爬取IP的小玩具，用的是redis来存取IP地址，同时使用打分机制验证，使用异步IO(asyncio+aiohttp)同时批量使用IP请求一个测试网址，检测携带该IP是否能正常请求成功 主要包括4个py文件 爬取的IP地址是http://www.xicidaili.com/wt 国内一个不太稳定的ip免费提供网 crawl.py中主要就是怼爬取的网址进行数...
python学习-Selenium爬虫之使用代理ip的方法
Z_suger7的博客
03-10 648
今天给大家分享的是如何在爬取数据的时候防止 IP被封，今天给大家分享两种方法，希望大家可以认真学习，再也不用担心被封IP啦。 第一种： 降低访问速度，我们可以使用 time模块中的sleep，使程序每运行一次后就睡眠1s，这样的话就可以大大的减少ip被封的几率 第二种： 为了提高效率，我们可以使用代理 ip来解决，ip是亿牛云的动态转发代理，以下是代理配置过程的示例 Selenium ¶ from...
python爬虫代理ip代理
最新发布
08-26
可以参考相关博客或网站，如《python爬虫设置代理ip池——方法（二）》，从中购买或获取代理IP。 2. 接下来，在Python代码中调用代理IP。可以使用以下代码获取代理IP列表并随机选择一个IP作为代理： ```python if __...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值