Python爬虫Scrapy爬西刺代理网站匿名ip

最新推荐文章于 2023-11-28 15:21:15 发布
最新推荐文章于 2023-11-28 15:21:15 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： Spider 文章标签： scrapy 代理池 ip 西刺代理 Python爬虫
我的个人博客: http://admin.minhung.me:19700/#/
本文链接：https://blog.csdn.net/Coxhuang/article/details/89716099
版权

文章目录

代理池ip爬取

#0 GitHub

https://github.com/Coxhuang/scrapy_proxy

#1 环境

Python3.7.3
Scrapy==1.6.0

#2 需求

#3 准备

#3.1 新建一个scrapy项目

scrapy startproject proxy_ips

.
└── proxy_ips
    ├── proxy_ips
    │   ├── __init__.py
    │   ├── items.py
    │   ├── middlewares.py
    │   ├── pipelines.py
    │   ├── settings.py
    │   └── spiders
    │       ├── __init__.py
    └── scrapy.cfg

#3.2 新建爬虫(在spiders目录下)

scrapy genspider ips "xicidaili.com"

#4 开始

#4.1 测试目标站点反爬机制

  • 裸跑
# -*- coding: utf-8 -*-
import scrapy
class IpsSpider(scrapy.Spider):
    name = 'ips'
    allowed_domains = ['xicidaili.com']
    start_urls = (
        'https://www.xicidaili.com/nt/',
    )
    def parse(self, response):
        print(response.xpath('//*[@id="ip_list"]/tbody/tr[2]/td[2]').extract())

scrapy crawl ips --nolog

没有拿到数据

20190429133316-image.png

  • 加User-Agent

settings.py

MY_USER_AGENT = [
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 LBBROWSER",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; 360SE)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5",
    "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:2.0b13pre) Gecko/20110307 Firefox/4.0b13pre",
    "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:16.0) Gecko/20100101 Firefox/16.0",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
    "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36",
    ]

DOWNLOADER_MIDDLEWARES = {
   # 'proxy_ips.middlewares.ProxyIpsDownloaderMiddleware': 543,
    'scrapy.downloadermiddleware.useragent.UserAgentMiddleware': None,
    'proxy_ips.middlewares.MyUserAgentMiddleware': 400,
}

middlewares.py

import random
from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware

class MyUserAgentMiddleware(UserAgentMiddleware):
    '''
    设置User-Agent
    '''

    def __init__(self, user_agent):
        self.user_agent = user_agent

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            user_agent=crawler.settings.get('MY_USER_AGENT')
        )

    def process_request(self, request, spider):
        agent = random.choice(self.user_agent)
        request.headers['User-Agent'] = agent

ips.py

def parse(self, response):
    print(response.xpath('/html/head/title/text()').extract_first())
    print(response.xpath('//*[@id="ip_list"]/tbody/tr[6]/td[2]/text()').extract_first())

20190430175647-image.png

通过xpath能获取网页的数据,但是就是拿不到tbody表格里面的数据 ?

  • 在xpath时,把tbody去掉
def parse(self, response):
    print(response.xpath('/html/head/title/text()').extract_first())
    print(response.xpath('//*[@id="ip_list"]/tr[6]/td[2]/text()').extract_first())

20190429162502-image.png

#4.2 获取下一页数据

分页url分析

https://www.xicidaili.com/nn/1
https://www.xicidaili.com/nn/2
...


def parse(self, response):
    for page in range(1, 3): # 获取1-2页数据
        url_next = "https://www.xicidaili.com/nn/{}/".format(page)
        yield scrapy.Request(url_next, callback=self.parse_response_next)

20190430192308-image.png

def parse_response_next(self,response):

    for tr_line in response.xpath('//*[@id="ip_list"]/tr'):
        ip = tr_line.xpath('td[2]/text()').extract_first()
        port = tr_line.xpath('td[3]/text()').extract_first()
        http = str(ip) + ":" + str(port)
        print(http)
    return None

20190430192659-image.png

测试ip是否可用

def __check_ip(self,http):
    """
    测试ip可用性
    :param http: ip:port
    :return: None
    """
    proxies = {
        "http": "http://{}".format(http),
        "https": "http://{}".format(http),
    }
    try:
        response = requests.get(
            url,
            headers=headers,
            proxies=proxies,
            timeout=5, # 请求超时时间超过5秒,认为该ip用不了
        )
        if int(response.status_code) == 200:
            print(http)
            return True
    except:
        pass

    return False

20190430195907-image.png

把可用的ip写入数据库(这里用MongoDB)

一定要确保MongoDB可以正常使用

items.py

import scrapy
class ProxyIpsItem(scrapy.Item):
    http = scrapy.Field()
    ip = scrapy.Field()
    port = scrapy.Field()
    is_active = scrapy.Field()
    check_time = scrapy.Field()

pipelines.py

import pymongo
class ProxyIpsPipeline(object):
    
    def __init__(self):
        host = "127.0.0.1" # MongoDB地址
        port = 27017 # 端口号
        dbName = "proxy" # 数据库名
        client = pymongo.MongoClient(host=host, port=port)
        tdb = client[dbName]
        self.post = tdb["proxytable"] # 表名

    def process_item(self, item, spider):
        bookInfo = dict(item)
        self.post.insert(bookInfo)
        return item

ips.py

def parse_response_next(self,response):

    for tr_line in response.xpath('//*[@id="ip_list"]/tr'):

        ip = tr_line.xpath('td[2]/text()').extract_first()
        port = tr_line.xpath('td[3]/text()').extract_first()
        http = str(ip) + ":" + str(port)
        ret = self.__check_ip(http=http)
        if ret:
            item = ProxyIpsItem()
            item["http"] = http
            item["ip"] = str(ip)
            item["port"] = str(port)
            item["is_active"] = True
            item["check_time"] = datetime.now()

            yield item

settings.py

ITEM_PIPELINES = {
   'proxy_ips.pipelines.ProxyIpsPipeline': 300,
}

20190430214641-image.png

autoooooooo
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫库框架学习及Python高度匿名代理IP
04-06
Python网络爬虫是一种用于自动化获取网页内容的工具，学习Python爬虫主要分为三个核心部分：抓取、分析和存储。本文将详细介绍其中的关键知识点和常用库。 首先，我们来看看网络爬虫的基础——抓取阶段。当我们在...
Python网络爬虫网页爬虫
最新发布
02-29
Python网络爬虫是数据获取和信息挖掘的重要工具，尤其在大数据时代，它的价值不言而喻。本主题将深入探讨Python中的网页爬虫技术，帮助你掌握如何利用Python高效地从互联网上抓取数据。 首先，我们要理解爬虫的基本...
【Python爬虫与数据分析】爬虫代理IP与访问控制
phoenixFlyzzz的博客
07-15 4923
代理IP、正则表达式re、通过代理IP对网站循环访问、通过selenium工具实现访问控制
【python爬虫】爬虫所需要的爬虫代理ip是什么？
wq10_12的博客
09-21 2813
在进行爬虫程序开发时，经常会遇到访问被限制的网站，这时就需要使用代理 IP 来进行访问。本文将介绍代理 IP 的概念及使用方法，帮助读者更好地应对爬虫程序中的访问限制问题。同时，本文还将提供一些代理 IP 提供商，并通过一个实例演示如何使用代理 IP 来访问被限制的网站。在爬取数据的过程中，我们会遇到一些网站对爬虫有限制，比如 IP 封杀、请求频率限制等等。这些限制会导致我们无法顺利地爬取数据，从而影响我们的工作。为了解决这些限制，我们可以使用爬虫代理 IP。
一篇文章教你正确解锁 代理ip 的使用方式，包含两个实战案例
热门推荐
努力前行，总会成为自己心中的那道光
12-28 4万+
作为一个程序员，"ip" 对于我们来说肯定是非常熟悉了。 那本篇文章就来介绍一下使用 代理ip 的好处，以及 有哪些好用的代理ip网站 和 使用 动态ip的案例 ，一起来看看吧！
代理ip匿名原理及那些行业需要代理ip
wq10_12的博客
06-16 532
需要注意的是，虽然代理IP匿名可以隐藏用户的真实IP地址，但是并不能完全保证用户的隐私安全。互联网的高速发展，连带了代理ip也受到了更多人的使用，不同的行业都存在使用代理ip的情况，同时代理ip也以为匿名程度分成了高匿、普匿、透明代理，那么代理ip匿名的原理是什么呢？在使用代理IP时，务必要注意选择可靠的代理服务商，以保障自己的网络安全和正常的业务流程。不管我们使用什么匿名程度的代理ip，不管我们所用在哪个行业的代理ip，我们都必须遵守目标网站的规则，遵守法律的规定，在不违反规则的前提下完成我们的工作。
Python 爬虫使用代理 IP 的正确方法
随便写写
05-16 3191
其中，http 和 https 表示协议，10.10.1.10:3128 和 10.10.1.10:1080 是代理 IP 地址和端口，需要根据代理 IP 供应商提供的参数进行修改。3. 特别需要注意的是，如果使用的是高匿代理 IP，需要在请求头中添加 User-Agent 参数，以免被认为是机器请求。以上是代理 IP 在 Python 爬虫中的正确使用方法，希望能对你有所帮助。1. 选择可靠的代理 IP 供应商，购买或者免费使用代理 IP 列表。
爬虫工具包python
07-06
在这个压缩包中，可能包含了一些常用的Python爬虫库，例如BeautifulSoup、Scrapy、Requests等。 1. **BeautifulSoup**：这是一个非常流行的HTML和XML解析库，它能够方便地提取和导航文档结构。通过结合Python的内置...
python爬虫请求伪造技术资源.zip
09-12
Python爬虫请求伪造技术是网络数据抓取领域中一种常用的方法，主要目的是为了模拟真实用户的行为，使得服务器难以识别出请求来自于爬虫程序。在实际应用中，这通常涉及到HTTP头的修改，如User-Agent、Cookie等，以及...
python网络爬虫程序
11-06
在实际项目中，`Scrapy`是一个强大的Python爬虫框架，它包含了爬取、解析、存储等全套功能，并且支持中间件和管道，便于实现更复杂的逻辑和数据处理。 通过以上知识，你可以开始构建自己的Python网络爬虫，从网页中...
免费ip代理
09-25
免费 ip代理 软件！
ASP获取真实IP地址
weixin_33697898的博客
01-14 268
　在 ASP 中使用 Request.ServerVariables("REMOTE_ADDR") 来取得客户端的 IP 地址，但如果客户端是使用代理服务器来访问，那取到的就是代理服务器的 IP 地址，而不是真正的客户端 IP 地址。要想透过代理服务器取得客户端的真实 IP 地址，就要使用 Request.ServerVariables("HTTP_X_FORWARDED_F...
怎么样设置代理IP
judge9999的专栏
07-30 994
代理的设置 在IE浏览器上使用HTTP代理隐藏自己的IP 使用浏览器浏览网络，浏览器用的是HTTP协议，所以在浏览器上使用的是HTTP代理。 打开IE的Internet选项（IE菜单-）工具-〉Internet选项），选择“连接” 假如你是直接拨号上网的，选择“设置（s）…” 在“此连接使用代理服务器”的选项上打钩。然后分别填上代理服务器的IP和端口，按“确定”就可以了，很简单吧，呵呵。要是设置代
什么是代理IP？
bujingtong123的博客
03-05 1598
打个比方吧，你就像大灰狼，想去抓兔子。你看见那屋子有兔子（网站数据）是你想要的，想进去。进去以后给你抓了几次呢，屋子里的人就知道你是坏人，记住你长这个样子，以后就不让你进去了（禁IP）。代理IP就是让你换一副外貌去抓兔子（把你的IP换成代理IP），抓完以后又换一套外貌去抓（又换一个），这样他们还抓不到你（逍遥法外~）。　　在网络爬虫抓取信息的过程中，如果抓取频率高过了网站的设置阀值，将会被禁止访问。通常，网站的反爬虫机制都是依据IP来标识爬虫的。于是在爬虫的开发者通常需要采取两种手段来解决这个问题：　　1、
Python爬虫入门：如何设置代理IP进行网络爬取
wq10_12的博客
11-28 1601
在进行网络爬取时，经常会遇到一些反爬虫的措施，比如IP封锁、限制访问频率等。为了解决这些问题，我们可以使用代理IP来进行网络爬取。本文将介绍Python如何设置代理IP进行网络爬取，包括如何获取代理IP、如何设置代理IP、如何验证代理IP、如何使用代理IP进行网络爬取等。本文介绍了Python如何设置代理IP进行网络爬取，包括如何获取代理IP、如何设置代理IP、如何验证代理IP、如何使用代理IP进行网络爬取等。
【爬虫】抓取xicidaili可用代理ip
weixin_30598225的博客
09-16 1013
# coding=utf-8import requestsfrom lxml import etreeips=[]def run(page): url="https://www.xicidaili.com/nn/{}" headers = { 'User-Agent': "Mozilla/5.0 (Windows NT 6.1; Win64; x64) Ap...
什么是透明、匿名、高匿代理？详解！
weixin_34347651的博客
11-12 260
随着大数据的应用越来越广泛，应用的行业也越来越多，我们每日都可以看到大数据的一些新颖的应用，从而帮助人们从中获取到真正有用的价值，随着很多工作的开展，我们需要大量的IP操作，这时为了避免IP被封，使用代理IP是个很好的选择。而IP代理按匿名度可分为透明代理、匿名代理和高度匿名代理。高度高匿代理会将我们的数据包原封不动的转发，在服务端看来就好像真的是一个普通客户端在访问，记录的IP是代理服务器的IP...
python爬取xici的免费代理、并验证(重点、清楚)
Chenftli的博客
01-30 3326
网上爬取xici的帖子很多，但是验证都说的不是很清楚，这里我会认真给大家解释 这里我写了一个代理类proxy，写了四个方法（个人写法不必在意），get_user_agent（得到随机use-agent,请求头中最重要的一个）、get_proxy(爬取代理IP)、test_proxy(验证代理可用性）、store_txt(将可用的代理保存到txt文件中。 1.爬取：headers是请求头，cho...
用python爬取需要登录的网站
qq_38735475的博客
07-28 2万+
如何爬取需要登录的网站创建一个session用fiddler抓取请求参数输入模拟浏览器发起请求获取userkey备用登录后，开心地请求该网站的其他页面 假如要爬取某个网页，但是该网页要登录后才能进行访问，刚好登录的时候不需要验证码，那么可以用如下方法 创建一个session 当用浏览器登录网站后，服务器会自动创建一个session对象，在session的有效期内，session对象中的变量在整个用...
python爬虫scrapy爬取网站
06-28
回答1：</h3><br/>Python爬虫Scrapy是一种用于爬取网站数据的工具。它可以自动化地从网站上获取数据，并将其存储在本地或远程服务器上。Scrapy使用Python编写，具有高效、灵活和可扩展的特点，可以处理大量数据和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值