Scrapy

已于 2023-03-07 14:04:07 修改
阅读量6.5w 收藏
点赞数
分类专栏： python 文章标签： scrapy python 爬虫
于 2021-08-10 17:40:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45718715/article/details/119574844
版权

@Scrapy学习

Scrapy使用异步网络库处理网络通讯，

安装Scrapy

pip install Scrapy

可能遇到的坑

报错1

VC++14.0 Twisted

解决方法

离线安装，访问网站：

https://www.lfd.uci.edu/~gohlke/pythonlibs/

根据版本选择文件
使用命令进行安装离线文件

pip install xxx.whl

报错2

scrapy bencn 运行报错

解决方法

pip install pywin32

Scrapy原理

在这里插入图片描述
很重要！

直接项目

新建项目

采集目标

采集西刺网的ip代理

scrapy startproject xicidailiSpider

D:\untitled1>scrapy startproject xicidailiSpider
New Scrapy project 'xicidailiSpider', using template directory 'd:\anaconda3\lib\site-packages\scrapy\templates\project', created in:
    D:\untitled1\xicidailiSpider

You can start your first spider with:
    cd xicidailiSpider
    scrapy genspider example example.com

创建成功之后使用cd命令移动到文件夹中：

D:\untitled1>cd  D:\untitled1\xicidailiSpider

在这里插入图片描述
移动到有这个文件的目录下。

D:\untitled1\xicidailiSpider>scrapy genspider xicidaili xicidaili.com

其中xicidaili是爬虫名字（不能和项目名重复），xicidaili.com是域名。
在这里插入图片描述
这个时候就会产生一个新的文件，这个文件就是我们的爬虫文件。

import scrapy


# 创建爬虫类 并且继承来自scrapy.Spider——》最基础的类 另外及各类都是继承这个类
class XicidailiSpider(scrapy.Spider):
    name = 'xicidaili' # 爬虫名字--》必须唯一
    allowed_domains = ['xicidaili.com'] # 允许采集的域名
    start_urls = ['http://xicidaili.com/'] # 开始采集的网址

    # 解析相应数据 提取数据 或者网址 response 网页源码
    def parse(self, response):
        pass

采集数据

1.正则表达式（基础 必回 难掌握）
2.XPath–》从html中提取数据
3.CSS

对于某些网站代理ip和端口号分开的情况，可以先用xpath对整个tr进行提取也就是 //tr 然后使用for循环遍历所有的提取项，再使用xpath进行提取，提取的时候使用 . 开头写xpath语句， . 的作用是表示当前的html中筛选。

import scrapy


# 创建爬虫类 并且继承来自scrapy.Spider——》最基础的类 另外及各类都是继承这个类
class XicidailiSpider(scrapy.Spider):
    name = 'xicidaili' # 爬虫名字--》必须唯一
    allowed_domains = ['xiladaili.com'] # 允许采集的域名
    start_urls = ['http://www.xiladaili.com/gaoni/'] # 开始采集的网址

    # 解析相应数据 提取数据 或者网址 response 网页源码
    def parse(self, response):
        # 提取数据
        data = response.xpath("/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()")
        print(data)
        pass

这里临时换个网址，因为我在学的时候西刺网已经无了

运行代码：

scrapy crawl xicidaili

最后的xicidaili是我们的爬虫名。
如果遇到反爬可以尝试增加user-agent
在settings.py文件中修改。
在这里插入图片描述

2021-08-11 10:02:04 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.xiladaili.com/gaoni/> (referer: None)
[<Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='103.103.3.6:8080'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='27.192.200.7:9000'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='113.237.3.178:9999'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='61.37.223.152:8080'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='118.117.188.171:3256'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='45.228.188.241:999'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='104.254.238.122:20171'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='211.24.95.49:47615'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='47.104.66.204:80'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='191.101.39.193:80'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='112.104.28.117:3128'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='103.205.15.97:8080'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='185.179.30.130:8080'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='190.108.88.97:999'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='81.30.220.116:8080'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='218.88.204.125:3256'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='178.62.56.172:80'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='178.134.208.126:50824'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='193.149.225.163:80'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='182.87.136.228:9999'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='175.42.122.142:9999'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='192.109.165.128:80'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='181.3.91.56:10809'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='182.84.144.91:3256'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='188.166.125.206:38892'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='118.194.242.57:80'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='167.172.180.46:33555'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='58.255.7.90:9999'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='190.85.244.70:999'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='118.99.100.164:8080'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='182.84.145.181:3256'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='94.180.72.40:3128'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='45.236.168.183:999'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='01.20.217.52:8080'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='175.146.211.158:9999'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='114.233.189.228:9999'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='125.113.133.47:8118'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='171.35.213.44:9999'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='131.153.151.250:43064'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='106.45.220.42:3256'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='177.229.194.30:999'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='191.101.39.110:80'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='195.46.124.94:4444'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='113.237.1.179:9999'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='182.84.144.12:3256'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='36.56.102.35:9999'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='131.153.151.250:8003'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='45.225.88.220:999'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='195.9.61.22:45225'>, <Selector xpath='/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()' data='43.239.152.254:8080'>]

数据很乱而且没有拿出来，修改代码：

import scrapy


# 创建爬虫类 并且继承来自scrapy.Spider——》最基础的类 另外及各类都是继承这个类
class XicidailiSpider(scrapy.Spider):
    name = 'xicidaili' # 爬虫名字--》必须唯一
    allowed_domains = ['xiladaili.com'] # 允许采集的域名
    start_urls = ['http://www.xiladaili.com/gaoni/'] # 开始采集的网址

    # 解析相应数据 提取数据 或者网址 response 网页源码
    def parse(self, response):
        # 提取数据
        data = response.xpath("/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()")
        print(data.getall())
        pass

2021-08-11 10:10:36 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.xiladaili.com/gaoni/> (referer: None)
['103.103.3.6:8080', '27.192.200.7:9000', '113.237.3.178:9999', '61.37.223.152:8080', '118.117.188.171:3256', '45.228.188.241:999', '104.254.238.122:20171', '211.24.95.49:47615', '47.104.66.204:80', '191.101.39.193:80', '112.104.28.117:3128', '103.205.15.97:8080', '185.179.30.130:8080', '190.108.88.97:999', '81.30.220.116:8080', '218.88.204.125:3256', '178.62.56.172:80', '178.134.208.126:50824', '193.149.225.163:80', '182.87.136.228:9999', '175.42.122.142:9999', '192.109.165.128:80', '181.3.91.56:10809', '182.84.144.91:3256', '188.166.125.206:38892', '118.194.242.57:80', '167.172.180.46:33555', '58.255.7.90:9999', '190.85.244.70:999', '118.99.100.164:8080', '182.84.145.181:3256', '94.180.72.40:3128', '45.236.168.183:999', '01.20.217.52:8080', '175.146.211.158:9999', '114.233.189.228:9999', '125.113.133.47:8118', '171.35.213.44:9999', '131.153.151.250:43064', '106.45.220.42:3256', '177.229.194.30:999', '191.101.39.110:80', '195.46.124.94:4444', '113.237.1.179:9999', '182.84.144.12:3256', '36.56.102.35:9999', '131.153.151.250:8003', '45.225.88.220:999', '195.9.61.22:45225', '43.239.152.254:8080']

如果只有一个元素使用get()就行如果多个元素使用getall()

翻页操作

import scrapy


# 创建爬虫类 并且继承来自scrapy.Spider——》最基础的类 另外及各类都是继承这个类
class XicidailiSpider(scrapy.Spider):
    name = 'xicidaili' # 爬虫名字--》必须唯一
    allowed_domains = ['xiladaili.com'] # 允许采集的域名
    start_urls = ['http://www.xiladaili.com/gaoni/'] # 开始采集的网址

    # 解析相应数据 提取数据 或者网址 response 网页源码
    def parse(self, response):
        # 提取数据
        data = response.xpath("/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()")
        print(data.getall())

        # 翻页操作

        next_page = response.xpath("/html/body/div/div[3]/nav/ul/li[16]/a/@href")
        if next_page:
            print(next_page.get())

        pass


2021-08-11 10:24:34 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2021-08-11 10:24:35 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.xiladaili.com/gaoni/> (referer: None)
['103.103.3.6:8080', '27.192.200.7:9000', '113.237.3.178:9999', '61.37.223.152:8080', '118.117.188.171:3256', '45.228.188.241:999', '104.254.238.122:20171', '211.24.95.49:47615', '47.104.66.204:80', '191.101.39.193:80', '112.104.28.117:3128', '103.205.15.97:8080', '185.179.30.130:8080', '190.108.88.97:999', '81.30.220.116:8080', '218.88.204.125:3256', '178.62.56.172:80', '178.134.208.126:50824', '193.149.225.163:80', '182.87.136.228:9999', '175.42.122.142:9999', '192.109.165.128:80', '181.3.91.56:10809', '182.84.144.91:3256', '188.166.125.206:38892', '118.194.242.57:80', '167.172.180.46:33555', '58.255.7.90:9999', '190.85.244.70:999', '118.99.100.164:8080', '182.84.145.181:3256', '94.180.72.40:3128', '45.236.168.183:999', '01.20.217.52:8080', '175.146.211.158:9999', '114.233.189.228:9999', '125.113.133.47:8118', '171.35.213.44:9999', '131.153.151.250:43064', '106.45.220.42:3256', '177.229.194.30:999', '191.101.39.110:80', '195.46.124.94:4444', '113.237.1.179:9999', '182.84.144.12:3256', '36.56.102.35:9999', '131.153.151.250:8003', '45.225.88.220:999', '195.9.61.22:45225', '43.239.152.254:8080']
/gaoni/2/
2021-08-11 10:24:35 [scrapy.core.engine] INFO: Closing spider (finished)
2021-08-11 10:24:35 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 303,
 'downloader/request_count': 1,
 'downloader/request_method_count/GET': 1,
 'downloader/response_bytes': 39781,
 'downloader/response_count': 1,
 'downloader/response_status_count/200': 1,
 'elapsed_time_seconds': 0.542365,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2021, 8, 11, 2, 24, 35, 437527),
 'log_count/DEBUG': 1,
 'log_count/INFO': 10,
 'response_received_count': 1,
 'scheduler/dequeued': 1,
 'scheduler/dequeued/memory': 1,
 'scheduler/enqueued': 1,
 'scheduler/enqueued/memory': 1,
 'start_time': datetime.datetime(2021, 8, 11, 2, 24, 34, 895162)}
2021-08-11 10:24:35 [scrapy.core.engine] INFO: Spider closed (finished)

获取到的网址并不全，所以需要进行网址的拼接。

import scrapy


# 创建爬虫类 并且继承来自scrapy.Spider——》最基础的类 另外及各类都是继承这个类
class XicidailiSpider(scrapy.Spider):
    name = 'xicidaili' # 爬虫名字--》必须唯一
    allowed_domains = ['xiladaili.com'] # 允许采集的域名
    start_urls = ['http://www.xiladaili.com/gaoni/'] # 开始采集的网址

    # 解析相应数据 提取数据 或者网址 response 网页源码
    def parse(self, response):
        # 提取数据
        data = response.xpath("/html/body/div/div[3]/div[2]/table/tbody/tr/td[1]/text()")
        print(data.getall())

        # 翻页操作

        next_page = response.xpath("/html/body/div/div[3]/nav/ul/li[16]/a/@href")
        if next_page:
            print(next_page.get())
            # 拼接网址
            next_url = response.urljoin(next_page)
            # 发出请求 Request callback 回调函数 将请求交给自己处理
            yield scrapy.Request(next_url,callback=self.parse) # 生成器
            
        pass

*** 回调函数别写 () 。 此处不再尝试，怕被封。。***

亚古兽超进化
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
孤寒者的博客
08-09 60万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
Python爬虫之Scrapy框架系列（1）——初识Scrapy框架【安装+简介+运行流程+组件介绍】
孤寒者的博客
07-05 3万+
Python爬虫之Scrapy框架系列（1）——初识Scrapy框架【安装+简介+运行流程+组件介绍】
部署Scrapy
钟健的博客
02-25 8467
部署蜘蛛以定期运行它们的不同选项。在您的本地机器中运行 Scrapy 蜘蛛对于（早期）开发阶段非常方便，但是当您需要执行长时间运行的蜘蛛或移动蜘蛛以在生产中连续运行时，就不那么方便了。这就是部署报废蜘蛛的解决方案。
scrapy
张艳秋的博客
09-02 1万+
简介 Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试. Scrapy主要包括了以下组件： 引擎(Scrapy) 用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回...
Scrapy爬虫框架，入门案例（非常详细）
热门推荐
ck784101777的博客
03-21 18万+
Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试. 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 后台也应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫. Scrapy吸引人的地...
Scrapy爬虫框架
Java/Python大数据成长之路
10-09 2114
Scrapy是一个基于Python的开源网络爬虫框架，用于从网页中提取数据。它提供了一套高效、灵活和可扩展的工具，可以帮助开发者快速构建和部署爬虫程序Scrapy是一个由Python语言开发的适用爬取网站数据、提取结构性数据的Web应用程序框架。主要用于数据挖掘、信息处理、数据存储和自动化测试等。通过Scrapy框架实现一个爬虫，只需要少量的代码，就能够快速的网络抓取Scrapy基于Twisted，Twisted是一个异步网络框架，主要用于提高爬虫的下载速度。
网络爬虫框架Scrapy
2302_80048824的博客
12-19 1885
Scrapy是一个用Python编写的网络爬虫框架，它提供了许多工具和功能，使得开发者可以轻松地构建强大的网络爬虫。
Scrapy爬虫框架实战
学而思(xiejava的blog)
09-12 3107
Python实现爬虫是很容易的，一般来说就是获取目标网站的页面，对目标页面的分析、解析、识别，提取有用的信息，然后该入库的入库，该下载的下载。以前写过一篇文章《Python爬虫获取电子书资源实战》，以一个电子书的网站为例来实现python爬虫获取电子书资源。爬取整站的电子书资源，按目录保存到本地，并形成索引文件方便查找。这次介绍通过Scrapy爬虫框架来实现同样的功能。
Scrapy 安装错误解决方法
D0126_的博客
06-28 676
Scrapy 是一个开源的用于网络爬虫的 Python 框架。在 Mac OS X 10.8.2 上安装 Scrapy 时，如果在任何用户特定目录中使用命令，可能会遇到命令scrapy无法被识别的错误。
scrapy知网专利爬虫
04-05
使用Scrapy框架开发爬取中国知网专利信息的爬虫,可以提供以下500字的说明: Scrapy是一个功能强大、高效的Python网络爬虫框架,非常适合用于爬取中国知网这样的专业学术资源网站。利用Scrapy可以快速开发一个高质量的...
django+scrapy结合
06-23
本篇文章将详细探讨如何将两个强大的Python库——Django和Scrapy结合，以实现通过Django的Web界面控制Scrapy爬虫的运行，并将爬取的数据存入数据库。 首先，让我们了解这两个框架的基本概念。Django是一个高级的Web...
Scrapy爬虫
03-09
Scrapy是一个强大的Python爬虫框架，专为网络数据抓取和数据分析设计。它提供了一整套工具和组件，使得开发者可以高效地构建和运行复杂的爬虫项目。在本项目中，"Scrapy+Python 抓取花瓣网不同主题的图片"，我们可以...
scrapy 爬虫
12-23
Scrapy是一个强大的Python爬虫框架，它为开发者提供了一套高效、灵活的工具，用于构建、维护和运行网络爬虫项目。本项目包含基于Scrapy的爬虫代码，特别是针对一些网站的二级爬虫实现，这有助于我们了解如何深度抓取...
大模型微调工具-torchtune
weixin_40777649的博客
08-08 1015
1.定义2.安装3. 案例。
NVIDIA-CUDA
qq_41081716的博客
08-08 446
CUDA 是一种强大的并行计算平台，它极大地扩展了 GPU 的用途，使其不仅仅局限于图形处理。通过利用 CUDA，开发人员可以编写高效、高性能的并行应用程序，这些应用程序可以用于各种计算密集型任务。如果您正在从事高性能计算或需要加速计算任务的工作，CUDA 是一个非常有用的工具。
Falsk测试与部署（第九阶段）
蜡笔小新星的博客
08-09 645
在本章节中，我们学习了如何使用unittest和pytest进行单元和集成测试，以及如何配置Flask应用，使用WSGI服务器部署，容器化Flask应用并将其部署到各种云服务平台。通过这些步骤，你可以确保你的Flask应用在生产环境中的稳定性和可靠性。希望这些知识能够帮助你在实际项目中更好地实现测试和部署。
《python语言程序设计》2018版第6章第42题Turtle：绘制sin函数，使用程序清单6-14中的函数简化5.52代码
最新发布
电饭叔
08-10 277
在output06th.py中的代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值