Python爬虫系列之----Scrapy(五)网页提取的三种方式(正则,Beautiful Soup,Lxml)

最新推荐文章于 2024-01-28 14:31:44 发布
最新推荐文章于 2024-01-28 14:31:44 发布
阅读量1.9w 收藏 32
点赞数 7
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011781521/article/details/70186740
版权

一、提取方式


从网页中提取数据有很多方法,概况起来大概有这么三种方式,首先是正则,然后是流行的Beautiful Soup模块,最后是强大的Lxml模块。


1、正则表达式:最原始的方法,通过编写一些正则表达式,然后从HTML/XML中提取数据。


2、Beautiful Soup模块:Beautiful Soup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup 会帮你节省数小时甚至数天的工作时间。

3、Lxml模块:lxml是基于libxm12这一XML解析库的Python封装,该模块使用C语言编写,解析速读比Beautiful Soup模块快，不过安装更为复杂。


Scrapy使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors。 关于selector和其他提取机制的信息请参考 Selector文档

这里给出XPath表达式的例子及对应的含义:

  • /html/head/title: 选择HTML文档中 <head> 标签内的 <title> 元素
  • /html/head/title/text(): 选择上面提到的 <title> 元素的文字
  • //td: 选择所有的 <td> 元素
  • //div[@class="mine"]: 选择所有具有 class="mine" 属性的 div 元素

上边仅仅是几个简单的XPath例子，XPath实际上要比这远远强大的多。 如果您想了解的更多，我们推荐 这篇XPath教程 。

为了配合XPath，Scrapy除了提供了 Selector 之外，还提供了方法来避免每次从response中提取数据时生成selector的麻烦。

Selector有四个基本的方法(点击相应的方法可以看到详细的API文档):

  • xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表 。
  • css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表.
  • extract(): 序列化该节点为unicode字符串并返回list。
  • re(): 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。
在Shell中尝试Selector选择器


为了介绍Selector的使用方法，接下来我们将要使用内置的 Scrapy shell 。Scrapy Shell需要您预装好IPython(一个扩展的Python终端,可通过命令安装: pip install ipython)。


您需要进入项目的根目录，执行下列命令来启动shell:

scrapy shell "http://blog.csdn.net/u011781521/article/details/70182815"

注意:当您在终端运行Scrapy时，请一定记得给url地址加上引号，否则包含参数的url(例如 & 字符)会导致Scrapy运行失败。


shell的输出:


G:\Scrapy_work\myfendo>scrapy shell "http://blog.csdn.net/u011781521/article/details/70182815"
2017-04-15 21:01:18 [scrapy.utils.log] INFO: Scrapy 1.3.3 started (bot: myfendo)
2017-04-15 21:01:18 [scrapy.utils.log] INFO: Overridden settings: {'BOT_NAME': 'myfendo', 'DUPEFILTER_CLASS': 'scrapy.dupefilters.BaseDupeFilter', 'LOGSTATS_INTERVAL': 0, 'NEWSPIDER_MODULE': 'myfendo.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['myfendo.spiders']}
2017-04-15 21:01:18 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole']
2017-04-15 21:01:19 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2017-04-15 21:01:19 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2017-04-15 21:01:19 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2017-04-15 21:01:19 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2017-04-15 21:01:19 [scrapy.core.engine] INFO: Spider opened
2017-04-15 21:01:19 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://blog.csdn.net/robots.txt> (referer: None)
2017-04-15 21:01:19 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://blog.csdn.net/u011781521/article/details/70182815> (referer: None)
2017-04-15 21:01:20 [traitlets] DEBUG: Using default logger
2017-04-15 21:01:20 [traitlets] DEBUG: Using default logger
[s] Available Scrapy objects:
[s]   scrapy     scrapy module (contains scrapy.Request, scrapy.Selector, etc)
[s]   crawler    <scrapy.crawler.Crawler object at 0x000002B5B7E512E8>
[s]   item       {}
[s]   request    <GET http://blog.csdn.net/u011781521/article/details/70182815>
[s]   response   <200 http://blog.csdn.net/u011781521/article/details/70182815>
[s]   settings   <scrapy.settings.Settings object at 0x000002B5B8E1DB38>
[s]   spider     <DefaultSpider 'default' at 0x2b5b909f358>
[s] Useful shortcuts:
[s]   fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects are followed)
[s]   fetch(req)                  Fetch a scrapy.Request and update local objects
[s]   shelp()           Shell help (print this help)
[s]   view(response)    View response in a browser
In [1]:

当shell载入后，您将得到一个包含response数据的本地 response 变量。输入 response.body 将输出response的包体




输入 response.headers 可以看到response的包头。





更为重要的是，当输入 response.selector 时， 您将获取到一个可以用于查询返回数据的selector(选择器)， 以及映射到 response.selector.xpath() 、 response.selector.css() 的快捷方法(shortcut): response.xpath() 和 response.css() 。

同时，shell根据response提前初始化了变量 sel 。该selector根据response的类型自动选择最合适的分析规则(XML vs HTML)。


让我们来试试:


In [4]: response.xpath('//title')
Out[4]: [<Selector xpath='//title' data='<title>Python爬虫系列之----Scrapy(一)爬虫原理 - fe'>]

In [5]: response.xpath('//title').extract()
Out[5]: ['<title>Python爬虫系列之----Scrapy(一)爬虫原理 - fendo\r\n        - 博客频道 - CSDN.NET</title>']

In [6]: response.xpath('//title/text()')
Out[6]: [<Selector xpath='//title/text()' data='Python爬虫系列之----Scrapy(一)爬虫原理 - fendo\r\n  '>]

In [7]: response.xpath('//title/text()').extract()
Out[7]: ['Python爬虫系列之----Scrapy(一)爬虫原理 - fendo\r\n        - 博客频道 - CSDN.NET']




二、提取数据


让我们从返回的response中提取数据，可以结合Firebug来观察HTML源码并确定合适的XPath表达式


文章的标题:


response.xpath('//h1/span/a/text()').extract()




输出的结果为:





网页中的链接:


response.xpath("//span/a[@href='https://scrapy.org/']/text()").extract()




输出结果为:




网页的描述:


response.xpath("//meta[@name='description']").extract()



输出结果为:





三、使用Item


Item 对象是自定义的python字典。 您可以使用标准的字典语法来获取到其每个字段的值。(字段即是我们之前用Field赋值的属性):


一般来说，Spider将会将爬取到的数据以 Item 对象返回。所以为了将爬取的数据返回，我们最终的代码将是:


# -*- coding: utf-8 -*-
import scrapy
from myfendo.items import MyfendoItem

class MyfendosSpider(scrapy.Spider):
    name = "myfendos"
    allowed_domains = ["csdn.net"]
    start_urls = [
        "http://blog.csdn.net/u011781521/article/details/70182815",
    ]

    def parse(self, response):
        item=MyfendoItem()
        item['title']=response.xpath('//h1/span/a/text()')
        item['link']=response.xpath("//span/a[@href='https://scrapy.org/']/text()")
        item['desc']=response.xpath("//meta[@name='description']")
        yield item


现在运行爬虫将会产生 MyfendoItem对象:


G:\Scrapy_work\myfendo>scrapy crawl myfendos
2017-04-15 21:50:54 [scrapy.utils.log] INFO: Scrapy 1.3.3 started (bot: myfendo)
2017-04-15 21:50:54 [scrapy.utils.log] INFO: Overridden settings: {'BOT_NAME': 'myfendo', 'NEWSPIDER_MODULE': 'myfendo.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['myfendo.spiders']}
2017-04-15 21:50:54 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.logstats.LogStats']
2017-04-15 21:50:54 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2017-04-15 21:50:54 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2017-04-15 21:50:54 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2017-04-15 21:50:54 [scrapy.core.engine] INFO: Spider opened
2017-04-15 21:50:54 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-04-15 21:50:54 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6024
2017-04-15 21:50:55 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://blog.csdn.net/robots.txt> (referer: None)
2017-04-15 21:50:55 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://blog.csdn.net/u011781521/article/details/70182815> (referer: None)
2017-04-15 21:50:55 [scrapy.core.scraper] DEBUG: Scraped from <200 http://blog.csdn.net/u011781521/article/details/70182815>
{'desc': [<Selector xpath="//meta[@name='description']" data='<meta name="description" content="一、Scra'>],
 'link': [<Selector xpath="//span/a[@href='https://scrapy.org/']/text()" data='https://scrapy.org/'>],
 'title': [<Selector xpath='//h1/span/a/text()' data='\r\n        Python爬虫系列之----Scrapy(一)爬虫原理  '>]}
2017-04-15 21:50:55 [scrapy.core.engine] INFO: Closing spider (finished)
2017-04-15 21:50:55 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 467,
 'downloader/request_count': 2,
 'downloader/request_method_count/GET': 2,
 'downloader/response_bytes': 17315,
 'downloader/response_count': 2,
 'downloader/response_status_count/200': 2,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2017, 4, 15, 13, 50, 55, 392037),
 'item_scraped_count': 1,
 'log_count/DEBUG': 4,
 'log_count/INFO': 7,
 'response_received_count': 2,
 'scheduler/dequeued': 1,
 'scheduler/dequeued/memory': 1,
 'scheduler/enqueued': 1,
 'scheduler/enqueued/memory': 1,
 'start_time': datetime.datetime(2017, 4, 15, 13, 50, 54, 786607)}
2017-04-15 21:50:55 [scrapy.core.engine] INFO: Spider closed (finished)

G:\Scrapy_work\myfendo>


四、保存爬取到的数据


最简单存储爬取的数据的方式是使用 Feed exports:


scrapy crawl myfendos -o items.json


输出的结果: 


G:\Scrapy_work\myfendo>scrapy crawl myfendos -o items.json
2017-04-15 22:19:02 [scrapy.utils.log] INFO: Scrapy 1.3.3 started (bot: myfendo)
2017-04-15 22:19:02 [scrapy.utils.log] INFO: Overridden settings: {'BOT_NAME': 'myfendo', 'FEED_FORMAT': 'json', 'FEED_URI': 'items.json', 'NEWSPIDER_MODULE': 'myfendo.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['myfendo.spiders']}
2017-04-15 22:19:02 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.feedexport.FeedExporter',
 'scrapy.extensions.logstats.LogStats']
2017-04-15 22:19:03 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2017-04-15 22:19:03 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2017-04-15 22:19:03 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2017-04-15 22:19:03 [scrapy.core.engine] INFO: Spider opened
2017-04-15 22:19:03 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-04-15 22:19:03 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6024
2017-04-15 22:19:03 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://blog.csdn.net/robots.txt> (referer: None)
2017-04-15 22:19:04 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://blog.csdn.net/u011781521/article/details/70182815> (referer: None)
2017-04-15 22:19:04 [scrapy.core.scraper] DEBUG: Scraped from <200 http://blog.csdn.net/u011781521/article/details/70182815>
{'desc': ['<meta name="description" '
          'content="一、Scrapy简介Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 '
          '可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。Scrapy 使用 '
          'Twisted这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供">'],
 'link': ['https://scrapy.org/'],
 'title': ['\r\n        Python爬虫系列之----Scrapy(一)爬虫原理            \r\n        ']}
2017-04-15 22:19:04 [scrapy.core.engine] INFO: Closing spider (finished)
2017-04-15 22:19:04 [scrapy.extensions.feedexport] INFO: Stored json feed (1 items) in: items.json
2017-04-15 22:19:04 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 467,
 'downloader/request_count': 2,
 'downloader/request_method_count/GET': 2,
 'downloader/response_bytes': 17313,
 'downloader/response_count': 2,
 'downloader/response_status_count/200': 2,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2017, 4, 15, 14, 19, 4, 130548),
 'item_scraped_count': 1,
 'log_count/DEBUG': 4,
 'log_count/INFO': 8,
 'response_received_count': 2,
 'scheduler/dequeued': 1,
 'scheduler/dequeued/memory': 1,
 'scheduler/enqueued': 1,
 'scheduler/enqueued/memory': 1,
 'start_time': datetime.datetime(2017, 4, 15, 14, 19, 3, 323475)}
2017-04-15 22:19:04 [scrapy.core.engine] INFO: Spider closed (finished)

G:\Scrapy_work\myfendo>

该命令将采用 JSON 格式对爬取的数据进行序列化，生成 items.json 文件。


也可以采用下面的方法保存JSON数据:


1.修改pipelines.py文件


from scrapy import signals
import json
import codecs


class JsonWithEncodingCnblogsPipeline(object):
    def __init__(self):
        self.file = codecs.open('myitems.json', 'w', encoding='utf-8')
    def process_item(self, item, spider):
        line = json.dumps(dict(item), ensure_ascii=False) + "\n"
        self.file.write(line)
        return item
    def spider_closed(self, spider):
        self.file.close()

注意类名为JsonWithEncodingCnblogsPipeline哦！settings.py中会用到


2.修改settings.py，添加以下两个配置项


ITEM_PIPELINES = {
    'myfendo.pipelines.JsonWithEncodingCnblogsPipeline': 300,
}
LOG_LEVEL = 'INFO'


然后运行爬虫: 


scrapy crawl myfendos


输出结果为:


G:\Scrapy_work\myfendo>scrapy crawl myfendos
2017-04-15 22:24:42 [scrapy.utils.log] INFO: Scrapy 1.3.3 started (bot: myfendo)
2017-04-15 22:24:42 [scrapy.utils.log] INFO: Overridden settings: {'BOT_NAME': 'myfendo', 'LOG_LEVEL': 'INFO', 'NEWSPIDER_MODULE': 'myfendo.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['myfendo.spiders']}
2017-04-15 22:24:42 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.logstats.LogStats']
2017-04-15 22:24:42 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2017-04-15 22:24:42 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2017-04-15 22:24:42 [scrapy.middleware] INFO: Enabled item pipelines:
['myfendo.pipelines.JsonWithEncodingCnblogsPipeline']
2017-04-15 22:24:42 [scrapy.core.engine] INFO: Spider opened
2017-04-15 22:24:42 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-04-15 22:24:43 [scrapy.core.engine] INFO: Closing spider (finished)
2017-04-15 22:24:43 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 467,
 'downloader/request_count': 2,
 'downloader/request_method_count/GET': 2,
 'downloader/response_bytes': 17315,
 'downloader/response_count': 2,
 'downloader/response_status_count/200': 2,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2017, 4, 15, 14, 24, 43, 434983),
 'item_scraped_count': 1,
 'log_count/INFO': 7,
 'response_received_count': 2,
 'scheduler/dequeued': 1,
 'scheduler/dequeued/memory': 1,
 'scheduler/enqueued': 1,
 'scheduler/enqueued/memory': 1,
 'start_time': datetime.datetime(2017, 4, 15, 14, 24, 42, 660934)}
2017-04-15 22:24:43 [scrapy.core.engine] INFO: Spider closed (finished)

G:\Scrapy_work\myfendo>

会生成一个myitems.json的文件




完整的示例: http://download.csdn.net/detail/u011781521/9815346

码农致富
关注
  • 7
    点赞
  • 踩
  • 32
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
python爬虫学习笔记-scrapy框架(1)
01-29
python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python ...
Python爬虫scrapy快速入门
花生日记
03-14 430
Item是用来保存爬取到数据的容器，是一个like dict对象，使用方式和python中的字典大同小异，scrapy提供了额外的保护机制避免出现拼写错误出现的字段未定义异常。Item类型的创建可以基于scrapy.Item进行构建，然后通过scrapy.Field()构建类型的属性，完成对采集数据的描述。
Python Scrapy 爬虫踩过的坑（一）
baidu_41687897的博客
03-30 8927
一、DEBUG Crawled 200 ，具体报错信息如下图所示： 爬虫初学者，记录自己曾爬过的坑。 1. 200为HTTP 状态码，代表访问OK。 2. 但是设置的正则的返回的爬取信息为[] 3. 主要出错原因，爬取的为分类下的数据信息，start_urls = [ ] 为设置爬虫文件时 域名所对应的网址。需要修改为分类下的网站。才能爬取数据成功。 https://stac...
Python网络爬虫：用BeautifulSoup与Scrapy采集数据
最新发布
禅与计算机程序设计艺术
01-28 1444
1.背景介绍 1. 背景介绍 网络爬虫是一种自动化的程序，用于从网页上抓取数据。它们可以用来收集信息、监控网站的变化、爬取搜索引擎等。Python是一种流行的编程语言，它有许多库可以帮助我们编写网络爬虫程序。BeautifulSoup和Scrapy是Python中两个非常受欢迎的网络爬虫库。 BeautifulSoup是一个用于解析HTML和XML文档的库，它可以帮助我们从网页中提取数据。S...
python：scrapy 一个网站爬虫库
一名小测试
10-25 662
Scrapy是一个用于抓取网站和提取结构化数据的应用框架，可用于广泛的有用应用，如数据挖掘、信息处理或历史档案。也可以使用api提取数据，或者作为一个通用的web爬虫。 安装 C:\Users\lifeng01>pipinstallscrapy Collectingscrapy DownloadingScrapy-2.5.1-py2.py3-none-any.whl(254kB) |████████████████████████████████|254kB58...
Python爬虫 9-Scrapy框架初探
大余的技术博客
11-23 391
1.Scrapy介绍 什么是Scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取 Scrapy使用了Twisted异步网络框架，可以加快我们的下载速度 http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html 异步和非阻塞的区别 异步：调用在发出之后，这个调用就直接返回，不管有无结果 非阻塞：关注的是程序在等待调用结果时的状态，指在不能立刻得到结果之前，该调用不
Scrapy入门一
影密卫
08-15 358
本篇教程中将带您完成下列任务: 创建一个Scrapy项目 定义提取的Item 编写爬取网站的 spider 并提取 Item 编写 Item Pipeline 来存储提取到的Item(即数据) 创建项目 在开始爬取之前，您必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中，运行下列命令: scrapy startproject tutorial 该命令将会创建包含下列...
python爬虫之十一_scrapy框架经验、错误
IMchg的博客
11-05 4626
发是发发发的
Scrapy中的ImagesPipeline开启管道不生效
m0_71898690的博客
02-18 722
今天用Scrapy的ImagesPipeline爬虫个的时候，开启了管道，但是get_media_requests一直没有执行
python爬虫之Scrapy介绍三——文档介绍
Claire_chen_jia的博客
07-01 1550
配置文件认识1 Scrapy log信息的认知2 Scrapy shell3 Scrapy settings说明和配置 1 Scrapy log信息的认知 [ scrapy.utils.log] INFO: Overridden settings:自己设置的setting的信息 [ scrapy . middleware] INFO: Enabled extensions :启动的扩展，默认有一堆 [scrapy . middleware] INFO: Enabled downloader middlewa
书签留存文档
qq_36551302的博客
03-09 76
Bookmarks Bookmarks     书签栏             百度一下，你就知道         Maven Repository: maven   &...
一个简单的scrapy示例
04-15
一个简单的scrapy示例，把获取的数据保存到json中
Python基于Scrapy-Redis分布式爬虫设计毕业源码(毕设项目).zip
06-08
python 开发的 Scrapy 框架来开发，使用 Xpath 技术对下载的网页进行提取解析，运用 Redis 数据库做分布式， 设计并实现了针对当当图书网的分布式爬虫程序，scrapy-redis是一个基于redis的scrapy组件，通过它可以...
Python-基于python36的微博爬虫scrapy
08-10
基于python3.6的微博爬虫（scrapy）
python爬虫学习笔记-scrapy框架(2)
01-29
python爬虫学习 scrapy框架 爬虫学习 scrapy python爬虫学习 scrapy框架 爬虫学习 scrapy python爬虫学习 scrapy框架 爬虫学习 scrapypython爬虫学习 scrapy框架 爬虫学习python爬虫学习 scrapy框架 爬虫学习python...
Python-Cnblogs首页文章列表爬虫基于scrapy
08-10
爬取Cnblogs首页文章，爬取的内容包括：标题 、推荐数 、链接、内容预览、作者、作者blogs链接、评论数、查看数。
Windows10安装Python2.7
热门推荐
fendo
12-28 6万+
一、下载软件 Python的官方地址: https://www.python.org/ 点击Downloads找到进行下载 点击进行下载、有18M左右 我把它上传到了CSDN上了: http://download.csdn.net/detail/u011781521/9723670 二、安
Python爬虫系列之----Scrapy(六)settings.py配置文件详解
fendo
04-15 2万+
让我们先来看下它里面的内容: # -*- coding: utf-8 -*- # Scrapy settings for demo1 project # # For simplicity, this file contains only settings considered important or # commonly used. You can find more setting
Python爬虫项目整理
fendo
04-15 2万+
WechatSogou [1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。 DouBanSpider [2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍；可依据不同的主题存储到Excel不同的Shee
Python Scrapy - Ins爬虫
05-16
Scrapy 是 Python 中一个强大的开源网络爬虫框架，可用于从网站上抓取数据。它实现了异步网络爬取、分布式爬取、自动限速、数据存储等功能，而且易于扩展。Ins 爬虫是使用 Scrapy 框架爬取 Instagram 网站上的数据，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值