洗礼灵魂，修炼python（72）--爬虫篇—爬虫框架：Scrapy

最新推荐文章于 2021-05-10 11:17:41 发布
最新推荐文章于 2021-05-10 11:17:41 发布
阅读量498 收藏
点赞数
文章标签： 爬虫 python 开发工具
原文链接：http://www.cnblogs.com/Eeyhan/p/7904746.html
版权

题外话：

前面学了那么多，相信你已经对python很了解了，对爬虫也很有见解了，然后本来的计划是这样的：（请忽略编号和日期，这个是不定数，我在更博会随时改的）

上面截图的是我的草稿

 

然后当我开始写博文的时候，我发现讲解PhantomJS的话，会涉及到JS代码，而相信跟着我的学习路线从小白上来的，应该都还没学过JS吧，说到JS，那么和Phantom很像的一个模块casperjs，也要跟着提点下，那么还要从JS开始讲解

然后说到PyQuery，其又几乎和JQuery差不多，又要提下JQuery

接着爬虫框架pyspider只支持32位操作系统，我的电脑现在是64位的系统，真要讲解的话，又得重装系统或者在虚拟机下操作

还有个最大的问题，爬虫篇确实延伸得有点多了，这路线走下来，感觉爬虫篇都占了大半了，所以我打算早点结束了，并且我现在也在学习阶段，时间不太多，更博时间也少了。

 

真不是我懒或者不愿意和大家分享，要把以上的东西说明白，确实需要花些时间，而渐渐的优点偏离我的初衷和本板块的主线。

 

所以我决定直接讲解爬虫框架Scrapy，其他的暂时不讲解了，以后有时间再讲解了，如果你们确实对爬虫这方面感兴趣（如果你想从事爬虫工程师的工作以上的真需要掌握下），可以网上找资料或者去这里看一位大神的文章：传送门

 

 

总之，那几个模块或者框架暂时不更了，后期有时间再更，目前暂时以Scrapy框架作为爬虫篇的收尾吧，后面开始python全栈开发和项目实战了

 

 

 

Scrapy框架

1.简介

1）什么是框架：

  • 提供形状或强度的结构系统(如屋架)
  • 比喻事物的组织、结构

在IT圈里，框架指为解决一个开放性问题而设计的具有一定约束性的支撑结构。在此结构上可以根据具体问题扩展、安插更多的组成部分，从而更迅速和方便地构建完整的解决问题的方案

通俗的理解，框架就是一套体系，基本整合某一方面的大部分功能，使用它一个就够了，不需要再用其他的多个程序和软件来组合运行处理问题。但是框架也不是万能的，只能完成大部分工作

2）Scrapy框架：

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的web应用框架。它为爬虫提供更灵活更全面的工具和用法，使爬虫工作变得方便，当使用它时，已经默认为你设置好大部分准备工作。

Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下:

（一张老掉牙的图片）

 

Scrapy主要包括了以下组件：

  • 引擎(Scrapy)：用来处理整个系统的数据流处理, 触发事务(框架核心)
  • 调度器(Scheduler)：用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
  • 下载器(Downloader)：用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
  • 爬虫(Spiders)：爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面
  • 项目管道(Pipeline)：负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。
  • 下载器中间件(Downloader Middlewares)：位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
  • 爬虫中间件(Spider Middlewares)：介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。
  • 调度中间件(Scheduler Middewares)：介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应

 

Scrapy运行流程大概如下：

  • 引擎从调度器中取出一个链接(URL)用于接下来的抓取
  • 引擎把URL封装成一个请求(Request)传给下载器
  • 下载器把资源下载下来，并封装成应答包(Response)
  • 爬虫解析Response
  • 解析出实体（Item）,则交给实体管道进行进一步的处理
  • 解析出的是链接（URL）,则把URL交给调度器等待抓取

 

2.安装/配置

注意：

1.python3目前还不能完美支持Scrapy（下面都是在python2上进行）

2.windows平台需要依赖pywin32，请根据自己系统32/64位选择下载安装，安装pywin32链接（你直接点这个链接，浏览器就会开始下载了，已经给你们选好下载包，下载完成双击，一路下一步就行）

 

使用pip install scrapy 安装：

 

 

安装好后，在cmd下运行测试是否安装成功：

 

至此，Scrapy框架已经安装完成，下面就开始使用了

 

3.简单使用

1）创建项目

在cmd下，进入你希望的路径，使用命令：scrapy startproject (项目名称)  创建项目

 

然后scrapy会自动创建一些东西：

自动创建文件夹：

 

可以用pycharm一目了然：

 

文件含义：

  • scrapy.cfg：项目的配置信息，主要为Scrapy命令行工具提供一个基础的配置信息。（真正爬虫相关的配置信息在settings.py文件中）
  • items.py：设置数据存储模板，用于结构化数据，如：Django的Model
  • pipelines：数据处理行为，如：一般结构化的数据持久化
  • settings.py：配置文件，如：递归的层数、并发数，延迟下载等
  • spiders：爬虫目录，如：创建文件，编写爬虫规则（爬虫程序就放在此文件夹下 ）

2）编写代码

注意：为了创建一个Spider，您必须继承scrapy.spiders.Spider类（后面有详解，姑且这么认定就行）

 

在spiders目录中新建 sc_test.py 文件

 

import scrapy

class bdspider(scrapy.spiders.Spider):
    name = 'baidu'
    allow_domains = ['baidu.com']
    start_urls = [
        'http://www.baidu.com',
        'http://news.baidu.com',
        'http://zhidao.baidu.com'
    ]
    def parse(self,response):
        filename = response.url.split('/')[-2]
        f = open('filename','wb')
        f.write(response.body)
        f.close()

 

在爬虫项目的根目录下，也就是你刚才创建的项目文件夹下，执行爬虫程序命令：scrapy crawl name(此name即为刚才自定义里的name，比如我上面代码里的‘baidu')

scrapy 就是框架名嘛，crawl就是爬行的意思，这条命令就是开始爬虫程序

 运行结果：

G:\programme\Python\python project\scrapytest>scrapy crawl baidu
2017-12-12 13:56:13 [scrapy.utils.log] INFO: Scrapy 1.4.0 started (bot: scrapyte
st)
2017-12-12 13:56:13 [scrapy.utils.log] INFO: Overridden settings: {'NEWSPIDER_MO
DULE': 'scrapytest.spiders', 'SPIDER_MODULES': ['scrapytest.spiders'], 'ROBOTSTX
T_OBEY': True, 'BOT_NAME': 'scrapytest'}
2017-12-12 13:56:13 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.logstats.LogStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.corestats.CoreStats']
2017-12-12 13:56:13 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2017-12-12 13:56:14 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2017-12-12 13:56:14 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2017-12-12 13:56:14 [scrapy.core.engine] INFO: Spider opened
2017-12-12 13:56:14 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pag
es/min), scraped 0 items (at 0 items/min)
2017-12-12 13:56:14 [scrapy.extensions.telnet] DEBUG: Telnet console listening o
n 127.0.0.1:6023
2017-12-12 13:56:14 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.ba
idu.com/robots.txt> (referer: None)
2017-12-12 13:56:14 [scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by
 robots.txt: <GET http://www.baidu.com>
2017-12-12 13:56:14 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://news.b
aidu.com/robots.txt> (referer: None)
2017-12-12 13:56:14 [scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by
 robots.txt: <GET http://news.baidu.com>
2017-12-12 13:56:14 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://zhidao
.baidu.com/robots.txt> (referer: None)
2017-12-12 13:56:14 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (
301) to <GET https://zhidao.baidu.com/> from <GET http://zhidao.baidu.com>
2017-12-12 13:56:15 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://zhida
o.baidu.com/> (referer: None)
2017-12-12 13:56:15 [scrapy.core.engine] INFO: Closing spider (finished)
2017-12-12 13:56:15 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/exception_count': 2,
 'downloader/exception_type_count/scrapy.exceptions.IgnoreRequest': 2,
 'downloader/request_bytes': 1205,
 'downloader/request_count': 5,
 'downloader/request_method_count/GET': 5,
 'downloader/response_bytes': 57574,
 'downloader/response_count': 5,
 'downloader/response_status_count/200': 4,
 'downloader/response_status_count/301': 1,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2017, 12, 12, 5, 56, 15, 360000),
 'log_count/DEBUG': 8,
 'log_count/INFO': 7,
 'response_received_count': 4,
 'scheduler/dequeued': 4,
 'scheduler/dequeued/memory': 4,
 'scheduler/enqueued': 4,
 'scheduler/enqueued/memory': 4,
 'start_time': datetime.datetime(2017, 12, 12, 5, 56, 14, 19000)}
2017-12-12 13:56:15 [scrapy.core.engine] INFO: Spider closed (finished)

 （时间暂且忽略，因为我是为了和后面的使用代码运行作对比而补充的，本来不想给出来的，因为占空间，也没多大的作用）

 

 

（只截取了部分，上面显示的都是日志 ）

你可以不让它显示日志：使用命令：scrapy crawl name --nolog：

 

再看这部分代码：

 

这里面的请求url正好就是之前定义的start_urls里的url

其中我圈出来的robots.txt，还有forbidden什么什么的，这些是什么意思，robot就是机器人的意思，robots.txt就是一个协议，大部分网站都会有的就是防爬虫程序，大概意思就是请求被robots.txt协议拒绝。

可以直接访问一下这个文件：

（图片只截取了部分）

里面的User_agent就是请求头部信息，只要有这些信息就直接disallow（拒绝的意思）。

 

当然你要知道scrapy是个框架啊，这种简单的防爬机制怎么能难得住scrapy，在setting.py文件里可以修改的，后面再做详解

 

先来解释下，当我运行这条命令scray  crawl name 时，都发生了什么：

Scrapy给Spider的start_urls属性中的每个URL创建了一个spider.request对象，并将parse方法作为回调函数(callback)赋值给了request。Request对象经过调度，执行生成scrapy.http.response对象并送回给spider的parse方法。

 

所以，你可能看着代码有点云里雾里，你只要修改部分就行，其他的scrapy框架为你自动设置，这就是scrapy的特性，这就是框架的好处

 

相信有朋友觉得在终端下手动执行命令来运行scrapy爬虫有点麻烦了，是的，python这么高端的，怎么会用这么低级的运行方式呢？

 

方法有两个：

1.在pycharm里可以配置（详细的就自己查了，不难）

2.写一个运行文件run.py

此run.py必须放在创建项目的根目录下，比如我这里的根目录就是scrapytest

 

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
from spiders.sc_test import bdspider

settings =get_project_settings()
process = CrawlerProcess(settings=settings)

process.crawl(bdspider)
process.start()

 

运行结果：

2017-12-12 13:55:06 [scrapy.utils.log] INFO: Scrapy 1.4.0 started (bot: scrapytest)
2017-12-12 13:55:06 [scrapy.utils.log] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'scrapytest.spiders', 'SPIDER_MODULES': ['scrapytest.spiders'], 'ROBOTSTXT_OBEY': True, 'BOT_NAME': 'scrapytest'}
2017-12-12 13:55:06 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.logstats.LogStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.corestats.CoreStats']
2017-12-12 13:55:07 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2017-12-12 13:55:07 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2017-12-12 13:55:07 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2017-12-12 13:55:07 [scrapy.core.engine] INFO: Spider opened
2017-12-12 13:55:07 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-12-12 13:55:07 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2017-12-12 13:55:08 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.baidu.com/robots.txt> (referer: None)
2017-12-12 13:55:08 [scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by robots.txt: <GET http://www.baidu.com>
2017-12-12 13:55:08 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://news.baidu.com/robots.txt> (referer: None)
2017-12-12 13:55:08 [scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by robots.txt: <GET http://news.baidu.com>
2017-12-12 13:55:08 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://zhidao.baidu.com/robots.txt> (referer: None)
2017-12-12 13:55:08 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (301) to <GET https://zhidao.baidu.com/> from <GET http://zhidao.baidu.com>
2017-12-12 13:55:09 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://zhidao.baidu.com/> (referer: None)
2017-12-12 13:55:09 [scrapy.core.engine] INFO: Closing spider (finished)
2017-12-12 13:55:09 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/exception_count': 2,
 'downloader/exception_type_count/scrapy.exceptions.IgnoreRequest': 2,
 'downloader/request_bytes': 1205,
 'downloader/request_count': 5,
 'downloader/request_method_count/GET': 5,
 'downloader/response_bytes': 57227,
 'downloader/response_count': 5,
 'downloader/response_status_count/200': 4,
 'downloader/response_status_count/301': 1,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2017, 12, 12, 5, 55, 9, 578000),
 'log_count/DEBUG': 8,
 'log_count/INFO': 7,
 'response_received_count': 4,
 'scheduler/dequeued': 4,
 'scheduler/dequeued/memory': 4,
 'scheduler/enqueued': 4,
 'scheduler/enqueued/memory': 4,
 'start_time': datetime.datetime(2017, 12, 12, 5, 55, 7, 921000)}
2017-12-12 13:55:09 [scrapy.core.engine] INFO: Spider closed (finished)

 

对比上面在终端下的运行结果是一样的

 

3）定义和设置item  (可选步骤，没有这一步一样可以运行，不过稍微大型点的爬虫项目建议加上这一步)

item是保存爬取到的数据的容器，使用方法和python字典类似， 它还提供了额外保护机制来避免拼写错误导致的未定义字段错误。

首先要根据需求从baidu.com获取到的数据对item进行建模，我们需要从百度中获取名字，url，以及网站的描述。 对此，在item中定义相应的字段。编辑scrapytest目录中的item.py文件

import scrapy

class scrapytestitem(scrapy.Item):
    title = scrapy.Field()  #标题
    link = scrapy.Field()   #url  
    desc = scrapy.Field()   #描述

scrapy.Item的用法与python中的字典用法基本一样，只是做了一些安全限制，属性定义使用Field，这里只是进行了声明，而不是真正的属性，使用的时候通过键值对操作，但不支持属性访问，意味着所有的属性赋值都得用字符串

 

利用上面定义的title，link，desc则可以对parse方法进行修改，得到需要得到的值：（下面的是伪代码，具体代码根据具体情况来）

 

import scrapy

class bdspider(scrapy.spiders.Spider):
    name = 'baidu'
    allow_domains = ['baidu.com']
    start_urls = [
        'http://www.baidu.com',
        'http://news.baidu.com',
        'http://zhidao.baidu.com'
    ]
    def parse(self,response):
        for i in response.xpath('//div/ul')  #此处的html标签只是一个假设
        bd_item = ScrapytestItem()
        bd_item['title'] = i.xpath('li/text()').extract()
        bd_item['link'] = i.xpath('li/text()').extract()
        bd_item['desc'] = i.xpath('li/text()').extract()

 

 

 

 

4.scrapy类

前面已经对scrapy有个大概了解了，那么开始详细的scrapy类讲解了

1）scrapy.spiders.spider类（即上面创建爬虫代码继承的类）

其常用属性/方法

属性：

  • name：即爬虫的名字，它是唯一的，用于区别不同的Spider，不可以为不同的Spider设定相同的名字
  • start_urls：包含Spider在启动时进行爬取的url列表
  • parse()是spider的一个方法。 被调用时，每个初始URL完成下载后生成的response对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的request对象
  • custom_settings：自定义配置，覆盖settings.py中的默认配置（一般很少对这个属性进行修改）

 

方法

  • start_requets()：启动爬虫的时候调用，默认是调用make_requests_from_url方法爬取start_urls的链接，可以在这个方法里面定制，如果重写了该方法，start_urls默认将不会被使用，可以在这个方法里面定制一些自定义的url，如登录，从数据库读取url等，本方法返回Request对象
  • make_requests_from_url()：默认由start_requets调用，可以配置Request对象，返回Request对象
  • parse()：response到达spider的时候默认调用，如果在Request对象配置了callback函数，则不会调用，parse方法可以迭代返回Item或者Request对象，如果返回Request对象，则会进行增量爬取
2)Request和respone对象

每个请求都是一个Request对象，Request对象定义了请求的相关信息（url, method, headers, body, cookie, priority）和回调的相关信息（meta, callback, dont_filter, errback），通常由spider迭代返回。其中meta相当于附加变量，可以在请求完成后通过respone.meta访问

请求完成后，会通过respone对象发送给spider处理，常用属性有（url, status, headers, body, request, meta）

 

详细介绍参考官网：

 

scrapy的类最常见的就这几个

 

5.提取数据

既然都能爬网站，当然希望从网页里爬取我们需要的数据，而当我们爬取大量的网页，针对某一段我们需要的数据时，如果还是用re或者BeautifulSoup的话，那就完全没必要用scrapy框架了对吧？并且这也很浪费时间，没让人失望，scrapy内部确实支持更简单的查询语法，帮助我们查询需要的数据。

  • 查询某个子标签(以a标签为例)：/a
  • 查询某个子标签下的子标签(以a标签为例)：//a
  • 查询标签中带有某个class属性的标签：//div[@class=’fm′]：即子子孙孙中标签是div且class=‘fm’的标签
  • 查询标签中带有某个class=‘fm’并且自定义属性name=‘test’的标签：//div[@class=’fm′][@name='test']
  • 查询某个标签的文本内容：//div/span/text()：即查询子子孙孙中div下面的span标签中的文本内容
  • 查询某个属性的值（例如查询a标签的href属性）：//a/@href

不过这也并不是说scrapy有自己的一套查询语句，Scrapy是使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors

 

Selector有六个基本的方法:

  • 基本的文本操作（这不废话吗）
  • dom树形结构操作：BeautifulSoup
  • re()：根据传入的正则表达式对数据进行提取，返回unicode字符串list列表
  • xpath()：传入xpath表达式，返回该表达式所对应的所有节点的selector list列表（scrapy默认支持选择器的功能，自带的选择器构建与lxml之上，并对其进行了改进，使用起来更为简洁明了）
  • css()：传入CSS表达式，返回该表达式所对应的所有节点的selector list列表
  • extract()：序列化该节点为unicode字符串并返回list（可以和xpath配套使用）

 

基本的文本操作，正则表达式，以及BeautifulSoup就不废话了，前面都讲过的

 

1)xpath：

XPpath是标准的XML文档查询语言，可以用于查询XML文档中的节点和内容，其实单独的把它拿出来也可以作爬虫操作的，与re和BeautifulSoup一样的，但因为它用的是xml文档，可能很多人用不惯（我也用不惯），所以感觉上并没有re，BeautifulSoup操作简单

Selector相当于节点，通过xpath去到子节点集合（SelectorList），可以继续搜索，通过extract方法可以取出节点的值，extract方法也可以作用于SelectorList，对于SelectorList可以通过extract_first取出第一个节点的值

A.通过text()取出节点的内容

 

B.通过@href取出节点属性值

 

 C.直接对节点取值，则是输出节点的字符串

 

2）css：

 

 

 有关css的用法，详细可见：https://www.w3.org/TR/selectors/

 

 

爬虫的通常需要在一个网页里面爬去其他的链接，然后一层一层往下爬，scrapy提供了LinkExtractor类用于对网页链接的提取，使用LinkExtractor需要使用CrawlSpider爬虫类中，CrawlSpider与Spider相比主要是多了rules，可以添加一些规则，那么这个Rule其实也是一个对象

 

6.Rule和LinkExtractor

1）Rule对象参数：

  • link_extractor：链接提取规则
  • callback：link_extractor提取的链接的请求结果的回调
  • cb_kwargs：附加参数，可以在回调函数中获取到
  • follow：表示提取的链接请求完成后是否还要应用当前规则（boolean），如果为False则不会对提取出来的网页进行进一步提取，默认为False
  • process_links：处理所有的链接的回调，用于处理从response提取的links，通常用于过滤（参数为link列表）
  • process_request：链接请求预处理（添加header或cookie等）

 

2） LinkExtractor对象参数：

  •  allow：提取符合正则表达式的链接
  • deny：拒绝符合正则表达式的链接（优先级高于allow，在开发中，一般都是拒绝优先）
  • allow_domains：允许的域名（可以是str或list）
  • deny_domains：拒绝的域名（可以是str或list）
  • restrict_xpaths：提取满足XPath选择条件的链接（可以是str或list）
  • restrict_css：提取满足css选择条件的链接（可以是str或list）
  • tags：提取指定标签下的链接，默认从a和area中提取（可以是str或list）
  • attrs：提取满足拥有属性的链接，默认为href（类型为list）
  • unique：链接是否去重（类型为boolean）
  • process_value：值处理函数（优先级大于allow）

 

 注意：如果使用rules规则，请不要覆盖或重写CrawlSpider的parse方法，否则规则会失效，可以使用parse_start_urls方法

 

同样是有些伪代码的感觉，你们知道大概怎么操作就行了

from scrapy.spider import CrawlSpider,Rule
from scrapy.linkextractor import LinkExtractor

class bdnewspider(CrawlSpider):
    name ='bdnew'
    allowed_domains = ['baidu.com']
    start_urls = ['http://news.baidu.com/ent']
    rules = [
        Rule(LinkExtractor(allow=(r'http://ent.ifeng.com/a/20171212/$')),callback='parse_item'),
    ]
    def parse_item(self,response):
        pass

 结果：

G:\programme\Python\python project\scrapytest>scrapy crawl bdnew
G:\programme\Python\python project\scrapytest\scrapytest\spiders\Ruletest.py:7:
ScrapyDeprecationWarning: Module `scrapy.spider` is deprecated, use `scrapy.spid
ers` instead
  from scrapy.spider import CrawlSpider,Rule
G:\programme\Python\python project\scrapytest\scrapytest\spiders\Ruletest.py:8:
ScrapyDeprecationWarning: Module `scrapy.linkextractor` is deprecated, use `scra
py.linkextractors` instead
  from scrapy.linkextractor import LinkExtractor
<h1 class="test" style="backgroud:red">world</h1>
[u'backgroud:red']
2017-12-12 15:54:43 [scrapy.utils.log] INFO: Scrapy 1.4.0 started (bot: scrapyte
st)
2017-12-12 15:54:43 [scrapy.utils.log] INFO: Overridden settings: {'NEWSPIDER_MO
DULE': 'scrapytest.spiders', 'SPIDER_MODULES': ['scrapytest.spiders'], 'ROBOTSTX
T_OBEY': True, 'BOT_NAME': 'scrapytest'}
2017-12-12 15:54:43 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.logstats.LogStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.corestats.CoreStats']
2017-12-12 15:54:45 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2017-12-12 15:54:45 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2017-12-12 15:54:45 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2017-12-12 15:54:45 [scrapy.core.engine] INFO: Spider opened
2017-12-12 15:54:45 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pag
es/min), scraped 0 items (at 0 items/min)
2017-12-12 15:54:45 [scrapy.extensions.telnet] DEBUG: Telnet console listening o
n 127.0.0.1:6023
2017-12-12 15:54:45 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://news.b
aidu.com/robots.txt> (referer: None)
2017-12-12 15:54:45 [scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by
 robots.txt: <GET http://news.baidu.com/ent>
2017-12-12 15:54:46 [scrapy.core.engine] INFO: Closing spider (finished)
2017-12-12 15:54:46 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/exception_count': 1,
 'downloader/exception_type_count/scrapy.exceptions.IgnoreRequest': 1,
 'downloader/request_bytes': 222,
 'downloader/request_count': 1,
 'downloader/request_method_count/GET': 1,
 'downloader/response_bytes': 970,
 'downloader/response_count': 1,
 'downloader/response_status_count/200': 1,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2017, 12, 12, 7, 54, 46, 67000),
 'log_count/DEBUG': 3,
 'log_count/INFO': 7,
 'response_received_count': 1,
 'scheduler/dequeued': 1,
 'scheduler/dequeued/memory': 1,
 'scheduler/enqueued': 1,
 'scheduler/enqueued/memory': 1,
 'start_time': datetime.datetime(2017, 12, 12, 7, 54, 45, 240000)}
2017-12-12 15:54:46 [scrapy.core.engine] INFO: Spider closed (finished)

 

 

 

以上的各个机制都有不同的分工，spider负责爬虫的配置，item负责声明结构化数据

 

7.缓存

scrapy默认已经自带了缓存的功能，我们只需要配置即可，打开settings.py文件：

 

图片标注区域则是缓存设置，分别代码的意思：

# 打开缓存
HTTPCACHE_ENABLED = True 

# 设置缓存过期时间（单位：秒）
#HTTPCACHE_EXPIRATION_SECS = 0
 
# 缓存路径(默认为：.scrapy/httpcache)
HTTPCACHE_DIR = 'httpcache'
 
# 忽略的状态码
HTTPCACHE_IGNORE_HTTP_CODES = []
 
# 缓存模式(文件缓存)
HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'

 如果你需要设置就把前面的注释符【#】去掉就可以了

 

8.多线程

scrapy网络请求是基于Twisted，而Twisted默认支持多线程，相信在你使用命令【pip install scrapy】时，你应该注意到在安装过程中，安装过Twisted组件。

scrapy默认也是通过多线程请求的，并且支持多核CPU的并发，通常只需要配置以下参数即可：

 

# 默认Item并发数：100
CONCURRENT_ITEMS = 100
 
# 默认Request并发数：16
CONCURRENT_REQUESTS = 16
 
# 默认每个域名的并发数：8
CONCURRENT_REQUESTS_PER_DOMAIN = 8
 
# 每个IP的最大并发数：0表示忽略
CONCURRENT_REQUESTS_PER_IP = 0

 

这些参数成了默认Item并发数没有（找了很久，确实没找到，我是手动添加的），其他都在settings.py文件里面：

 

详见说明：官网文档

 

补充：

9.伪造报文头部

前面的测试里一直被拒绝访问，因为user-agent参数问题，scrapy当然可以设置user-agent参数的，有三个方法可行：

1）在settings.py里设置

 

settings.py默认的是这样的：

 

 

可以这么修改：

 

然后，如果你运行代码还是提示forbidden之类的，记得把这个参数由默认的True改为False就行：

 

 

结果：

G:\programme\Python\python project\scrapytest>scrapy crawl baidu
G:\programme\Python\python project\scrapytest\scrapytest\spiders\Ruletest.py:7:
ScrapyDeprecationWarning: Module `scrapy.spider` is deprecated, use `scrapy.spid
ers` instead
  from scrapy.spider import CrawlSpider,Rule
G:\programme\Python\python project\scrapytest\scrapytest\spiders\Ruletest.py:8:
ScrapyDeprecationWarning: Module `scrapy.linkextractor` is deprecated, use `scra
py.linkextractors` instead
  from scrapy.linkextractor import LinkExtractor
<h1 class="test" style="backgroud:red">world</h1>
[u'backgroud:red']
2017-12-12 16:33:55 [scrapy.utils.log] INFO: Scrapy 1.4.0 started (bot: scrapyte
st)
2017-12-12 16:33:55 [scrapy.utils.log] INFO: Overridden settings: {'NEWSPIDER_MO
DULE': 'scrapytest.spiders', 'SPIDER_MODULES': ['scrapytest.spiders'], 'USER_AGE
NT': 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko)
 Chrome/19.0.1055.1 Safari/535.24', 'BOT_NAME': 'scrapytest'}
2017-12-12 16:33:55 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.logstats.LogStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.corestats.CoreStats']
2017-12-12 16:33:56 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2017-12-12 16:33:56 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2017-12-12 16:33:56 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2017-12-12 16:33:56 [scrapy.core.engine] INFO: Spider opened
2017-12-12 16:33:56 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pag
es/min), scraped 0 items (at 0 items/min)
2017-12-12 16:33:56 [scrapy.extensions.telnet] DEBUG: Telnet console listening o
n 127.0.0.1:6023
2017-12-12 16:33:56 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (
302) to <GET https://www.baidu.com/> from <GET http://www.baidu.com>
2017-12-12 16:33:56 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (
301) to <GET https://zhidao.baidu.com/> from <GET http://zhidao.baidu.com>
2017-12-12 16:33:56 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://news.b
aidu.com> (referer: None)
2017-12-12 16:33:56 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.b
aidu.com/> (referer: None)
2017-12-12 16:33:57 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://zhida
o.baidu.com/> (referer: None)
2017-12-12 16:33:57 [scrapy.core.engine] INFO: Closing spider (finished)
2017-12-12 16:33:57 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 1696,
 'downloader/request_count': 5,
 'downloader/request_method_count/GET': 5,
 'downloader/response_bytes': 112116,
 'downloader/response_count': 5,
 'downloader/response_status_count/200': 3,
 'downloader/response_status_count/301': 1,
 'downloader/response_status_count/302': 1,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2017, 12, 12, 8, 33, 57, 411000),
 'log_count/DEBUG': 6,
 'log_count/INFO': 7,
 'response_received_count': 3,
 'scheduler/dequeued': 5,
 'scheduler/dequeued/memory': 5,
 'scheduler/enqueued': 5,
 'scheduler/enqueued/memory': 5,
 'start_time': datetime.datetime(2017, 12, 12, 8, 33, 56, 371000)}
2017-12-12 16:33:57 [scrapy.core.engine] INFO: Spider closed (finished)

 

结果里已经没有forbidden和robots.txt之类的字眼了

 

2）在middlewares.py文件中设置User-Agent（也称通过改写中间件来设置User-Agent）

在middleware.py追加编写一个类，代码大概如下：

 

import random  
from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware  
  
class UAMiddleware(UserAgentMiddleware):  
    def __init__(self, user_agent=''):  
        self.user_agent = user_agent  
  
    def process_request(self, request, spider):   
        if random.choice(self.user_agent_list):             
            request.headers.setdefault('User-Agent', ua)    
    user_agent_list = [\  
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"\  
        "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",\  
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",\  
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",\  
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",\  
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",\  
        "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",\  
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",\  
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",\  
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",\  
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",\  
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",\  
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",\  
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",\  
        "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",\  
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",\  
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",\  
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"  
       ]

 

然后在setting.py文件里，把这段代码：

#DOWNLOADER_MIDDLEWARES = {
#    'scrapytest.middlewares.MyCustomDownloaderMiddleware': 543,
#}

 

改成这样就行：

DOWNLOADER_MIDDLEWARES = {  
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware':None,  
    'scrapytest.middlewares.UAMiddleware':400,     #scrapytest是创建的项目名，UAMiddleware是刚才在midddleware.py文件下自定义的一个类
}

 

结果和前面直接修改setting.py的相同，就不贴出来了

如果结果还是有forbidden之类的，同样的把前面那个True改为False就行

 

3）在scrapy主程序里直接加上User-Agent

详细操作略过，和以前的用法一样的

 

4）使用第三方user-agent库（fake-useragent）

使用pip安装好第三方库后，在setting.py文件里添加这么一段代码就行：

 

同样的，结果也相同，不再展示

 

 

其他的还有设置管道的Pipeline，还有Middleware暂时略过了，看项目来使用，一般我个人都没有用到，如果你感兴趣可以自己查查怎么用

 

以上所有的，如果你觉得还不够，可以看看scrapy的官方文档里的中文教程：传送门

 

 

转载于:https://www.cnblogs.com/Eeyhan/p/7904746.html

dingyu6453
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
windows下scrapy-redis分布式爬虫的搭建与远程连接
小白作者的博客
08-11 963
scrapy-redis配置Master and slave前言scrapy-redis环境配置Master(win10，服务器/主机）redis安装启动redis服务slave端（win8，爬虫端）redis安装编写scrapy-redis爬虫分布式爬取开启服务与测试连接爬虫端爬取信息处理 前言 本测试中使用两台电脑，一台win10（作为主机/服务器端），一台win8（作为爬虫端）。 在测试中，win10作为服务器，win8作为爬虫端，win8可以连接win10的redis数据库。但是反过来就不行，至今没
爬虫中遇到的问题Crawled (404)，[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to
xiaobai_IT_learn的博客
09-19 3954
1.错误1：start_url不存在 Crawled (200) <GET http://www.itcast.cn/robots.txt> (referer: None) DEBUG: Crawled (404) <GET http://www.itcast.cn/channel/teacher.shtml/> (referer: None) 解决：复制url的完全地址 ...
Telnet console listening on 127.0.0.1:6023”
热门推荐
pcy1127918的博客
03-16 4万+
 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023”“ DEBUG: Crawled (403) &lt;GET403是禁止访问，查到代理问题导致有些网站无法访问，解决方法是在settings.py中修改：DOWNLOADER_MIDDLEWARES = {'scrapy.downloadermiddlewares.userage...
Scrapy设置之Analysis
04-08 7948
Analysis: 通过修改这些设置项，可以配置Scrapy通过logs、statistics和telnet来提供性能和调试信息的方式。 Logging：根据严重程度的不同，Scrapy有几种级别的日志：DEBUG（最低级别）、INFO、WARNING、ERROR和CRITICAL（最高级别）。除此之外还有一个SILENT级别，这个级别不会有任何日志输出。把LOG_LEVEL设置成某个级别，然后就
scrapy抓取豆瓣网信息时报错提醒INFO: Ignoring response ＜403 https://movie.douban.com/top250＞: HTTP status code is
攻城狮小关的博客
08-25 3585
自学python的爬虫scrapy,可能会遇到如下问题： 通过上文解释对豆瓣网进行抓取过程中出现报错如下： 2020-08-20 14:27:46 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 2020-08-20 14:27:47 [scrapy.core.engine] DEBUG: Crawled (403) <GET https://movie.douban.com/top250&gt
Scrapy入门教程
weixin_42575593的博客
10-15 524
在本教程中，我们假设Scrapy已经安装在您的系统上。如果不是这样，请参阅安装指南。 我们将要爬取 quotes.toscrape.com ，一个包含众多著名作家名言的网站。 本教程将引导您完成以下任务： 创建一个新的 Scrapy 项目 编写爬虫以抓取网站并提取数据 使用命令行导出已爬取的数据 将爬虫更改为递归跟进链接 使用爬虫参数 Scrapy 是由Python...
python爬虫运行正常最后报错_python爬虫运行过程报错，求救
weixin_39699912的博客
12-06 450
d:\Python\ajk>scrapy crawl fangjia2017-06-08 20:17:26 [scrapy] INFO: Scrapy 1.0.3 started (bot: ajk)2017-06-08 20:17:26 [scrapy] INFO: Optional features available: ssl, http112017-06-08 20:17:26 [s...
基于Python的Scrapy爬虫框架与Scrapy-Redis分布式爬虫设计源码
最新发布
04-06
本资源提供了一套基于Python的Scrapy爬虫框架与Scrapy-Redis分布式爬虫的设计源码，包含61个文件，其中包括51个Python源代码文件，7个配置文件，以及1个Git忽略文件。此外，还包括1个文本文件和1个Markdown文档。...
python爬虫学习笔记-scrapy框架(1)
01-29
python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python ...
Python入门教程-网络爬虫Scrapy框架
01-23
内容概要：Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。...
Python基于Scrapy-Redis分布式爬虫设计
11-04
## 开发环境：Python + Scrapy框架 + redis数据库 ## 程序开发工具： PyCharm 程序采用 python 开发的 Scrapy 框架来开发，使用 Xpath 技术对下载的网页进行提取解析，运用 Redis 数据库做分布式， 设计并实现了...
以下用于数据存储领域的python第三方库是-南开《网络爬虫与信息提取》19秋期末考核题目【标准答案】...
weixin_37988176的博客
11-01 592
《网络爬虫与信息提取》19秋期末考核-0001试卷总分:100 得分:70一、单选题 (共 20 道试题,共 40 分)1.如果很多爬虫同时对一个网站全速爬取,那么其实就是对网站进行了()攻击A.跨域B.XSSC.DOSD.DDOS2.以下哪个HTML标签表示分区或节()A.B.C.D.3.使用UI Automator获取屏幕上显示的文本内容的操作是得到相应控件后使用命令()A.titleB.t...
scrapy爬虫之中间件Middleware
qq_29983883的博客
05-02 372
设置随机请求头 spider class MiddlewSpider(scrapy.Spider): name = 'middlew' allowed_domains = ['exercise.kingname.info'] start_urls = ['http://exercise.kingname.info/exercise_middleware_ua'] c...
scrapy_redis分布式爬虫
HukDog的博客
08-15 246
scrapy_redis更新下载：https://github.com/rmax/scrapy-redis 进入页面后，复制源码链接然后使用Git,通过git clone命令clone到本地： 1.修改settings.py # 使用scrapy_redis的去重类，不使用scrapy默认的去重类 DUPEFILTER_CLASS = "scrapy_redis.dupefilter....
windows下scrapy-redis环境搭建与远程连接
yurdook的博客
08-12 420
scrapy-redis配置Master and slave前言scrapy-redis环境配置Master(win10，服务器/主机）redis安装启动redis服务slave端（win8，爬虫端）redis安装编写scrapy-redis爬虫分布式爬取开启服务并测试连接爬虫端爬取信息处理 前言 本测试中使用两台电脑，一台win10（作为主机/服务器端），一台win8（作为爬虫端）。 在测试中，win10作为服务器，win8作为爬虫端，win8可以连接win10的redis数据库。但是反过来就不行，至今没
Day060 爬虫（四）
Melody_92的博客
08-30 512
十六、 Scrapy 框架介绍与安装 1. Scrapy 框架介绍 Scrapy是Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中...
Scrapy 修改爬虫结束时统计数据中的时间为当前系统时间
涞公子的博客
05-10 955
Scrapy 修改爬虫结束时统计数据中的时间为当前系统时间一、问题背景二、问题分析三、解决方法四、效果展示 一、问题背景 scrapy 在每次运行结束后都会显示一堆统计数据信息，其中是有统计时间数据的，但是！！！那个时间是 UTC 时间（0时区），不是我们平时习惯的系统本地时间，而且里面的爬虫总运行时间是以秒计算的，不符合我们的日常习惯，于是我翻了下scrapy 的源码，找到其中相关的内容并将其重写了一遍，感觉还行，各位看官随缘取之！ 二、问题分析 通过日志信息，找到对应的统计爬虫运行时间的类：scrapy
Spider closed (finished) 没完成
jacke121的专栏
12-29 1万+
我猜测是scrapy的robot协议没关闭吧？ settings.py中 1 2 #robots协议,True的话是遵守协议,所以要False关掉 ROBOTSTXT_OBEY=False
scrapy爬虫错误一：无法爬到期望的数据
qq_15054345的博客
02-07 6933
最近在开始学习scrapy爬虫，遇到了一处很坑的地方，在屏幕上输出的debug信息总是没有任何结果就直接提示：  [scrapy.statscollectors] INFO: Dumping Scrapy stats ............... ............. [scrapy.core.engine] INFO: Spider closed (finished)，然后程序就...
python scrapy-redis分布式爬虫
05-24
Scrapy-Redis是一个基于Scrapy框架的分布式爬虫解决方案，它使用Redis作为分布式队列和去重集合，实现了多个爬虫节点共享一个Redis队列和去重集合，从而实现了高效的分布式爬取。 使用Scrapy-Redis，你可以很容易地...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值