爬虫课程：scrapy及相关应用

最新推荐文章于 2022-06-20 01:33:46 发布
最新推荐文章于 2022-06-20 01:33:46 发布
阅读量244 收藏
点赞数
分类专栏： 课程笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42446330/article/details/84963463
版权

 

以下是我的学习笔记，以及总结，如有错误之处请不吝赐教。

本文主要介绍Scrapy框架及相应应用代码。

Scrapy基础：

是一个用于爬行web站点和提取结构化数据的应用程序框架，可用于各种有用的应用程序，如数据挖掘、信息处理或历史档案，官网；

scrapy结构包括：引擎(Scrapy Engine) 、调度器(Scheduler) 、下载器(Downloader) 、蜘蛛(Spiders) 、项目管道(Item Pipeline) 、下载器中间件(Downloader Middlewares) 、蜘蛛中间件(Spider Middlewares)、调度中间件(Scheduler Middlewares) ，如下图：

Scrapy工作方式：箭头表示的就是数据流向：

  • 从初始URL开始，Scheduler会将其交给Downloader进行下载
  • 下载之后会交给Spider进行分析 
  • Spider分析出来的结果有两种 ：①一种是需要进一步抓取的链接，如 “下一页”的链接，它们会被传回Scheduler； ②一种是需要进一步抓取的链接，如 “下一页”的链接，它们会被传回Scheduler； 
  • 在数据流动的通道里还可以安装各种中间件，进行必要的处理。 

Scrapy应用：

  • Spider运行：scrapy runspider spider.py -o xxx.json，推荐json、xml、csv格式，方便导入数据库。
  • Scrapy项目创建：scrapy startproject xxx
  • Scrapy shell:调试xpath网址
  • Scrapy spider 爬取流程：①先初始化请求URL列表，并指定下载后处理response的回调函数；②在parse回调中解析response并返回字典,Item对象,Request对象或它们的迭代对象；③在回调函数里面，使用选择器解析页面内容，并生成解析后的结果Item；④最后返回的这些Item通常会被持久化到数据库中(使用Item Pipeline)或者使用Feed exports将其保存到文件中。 
    import scrapy

class QQNewsSpider(scrapy.Spider):
    name = 'qqnews'
    start_urls = ['http://news.qq.com/society_index.shtml']

    def parse(self, response):
        for href in response.xpath('//*[@id="news"]/div/div/div/div/em/a/@href'):
            full_url = response.urljoin(href.extract())
            yield scrapy.Request(full_url, callback=self.parse_question)

    def parse_question(self, response):
        print response.xpath('//div[@class="qq_article"]/div/h1/text()').extract_first()
        print response.xpath('//span[@class="a_time"]/text()').extract_first()
        print response.xpath('//span[@class="a_catalog"]/a/text()').extract_first()
        print "\n".join(response.xpath('//div[@id="Cnt-Main-Article-QQ"]/p[@class="text"]/text()').extract())
        print ""
        yield {
            'title': response.xpath('//div[@class="qq_article"]/div/h1/text()').extract_first(),
            'content': "\n".join(response.xpath('//div[@id="Cnt-Main-Article-QQ"]/p[@class="text"]/text()').extract()),
            'time': response.xpath('//span[@class="a_time"]/text()').extract_first(),
            'cate': response.xpath('//span[@class="a_catalog"]/a/text()').extract_first(),
        }

  • Scrapy spider爬取方式：

  1. 爬取1页内容：

    import scrapy

class eduSpider(scrapy.Spider):
    name = "edu"
    start_urls = [
        'https://www.edu.com/category/index',
    ]

    def parse(self, response):
        for edu_class in response.xpath('//div[@class="course_info_box"]'):
            print(edu_class.xpath('a/h4/text()').extract_first())
            print(edu_class.xpath('a/p[@class="course-info-tip"][1]/text()').extract_first())
            print(edu_class.xpath('a/p[@class="course-info-tip"][2]/text()').extract_first())
            print( response.urljoin(edu_class.xpath('a/img[1]/@src').extract_first()))
            print( "\n")

            yield {
                'title':edu_class.xpath('a/h4/text()').extract_first(),
                'desc': edu_class.xpath('a/p[@class="course-info-tip"][1]/text()').extract_first(),
                'time': edu_class.xpath('a/p[@class="course-info-tip"][2]/text()').extract_first(),
                'img_url': response.urljoin(edu_class.xpath('a/img[1]/@src').extract_first())
            }

  2. 按照给定列表爬取多页：

    import scrapy

class CnBlogSpider(scrapy.Spider):
    name = "cnblogs"
    allowed_domains = ["cnblogs.com"]
    start_urls = [
        'http://www.cnblogs.com/pick/#p%s' % p for p in xrange(1, 11)
        ]

    def parse(self, response):
        for article in response.xpath('//div[@class="post_item"]'):
            print article.xpath('div[@class="post_item_body"]/h3/a/text()').extract_first().strip()
            print response.urljoin(article.xpath('div[@class="post_item_body"]/h3/a/@href').extract_first()).strip()
            print article.xpath('div[@class="post_item_body"]/p/text()').extract_first().strip()
            print article.xpath('div[@class="post_item_body"]/div[@class="post_item_foot"]/a/text()').extract_first().strip()
            print response.urljoin(article.xpath('div[@class="post_item_body"]/div/a/@href').extract_first()).strip()
            print article.xpath('div[@class="post_item_body"]/div[@class="post_item_foot"]/span[@class="article_comment"]/a/text()').extract_first().strip()
            print article.xpath('div[@class="post_item_body"]/div[@class="post_item_foot"]/span[@class="article_view"]/a/text()').extract_first().strip()
            print ""

            yield {
                'title': article.xpath('div[@class="post_item_body"]/h3/a/text()').extract_first().strip(),
                'link': response.urljoin(article.xpath('div[@class="post_item_body"]/h3/a/@href').extract_first()).strip(),
                'summary': article.xpath('div[@class="post_item_body"]/p/text()').extract_first().strip(),
                'author': article.xpath('div[@class="post_item_body"]/div[@class="post_item_foot"]/a/text()').extract_first().strip(),
                'author_link': response.urljoin(article.xpath('div[@class="post_item_body"]/div/a/@href').extract_first()).strip(),
                'comment': article.xpath('div[@class="post_item_body"]/div[@class="post_item_foot"]/span[@class="article_comment"]/a/text()').extract_first().strip(),
                'view': article.xpath('div[@class="post_item_body"]/div[@class="post_item_foot"]/span[@class="article_view"]/a/text()').extract_first().strip(),
            }

  3. “下一页”类型：

    import scrapy

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/tag/humor/',
    ]

    def parse(self, response):
        for quote in response.xpath('//div[@class="quote"]'):
            yield {
                'text': quote.xpath('span[@class="text"]/text()').extract_first(),
                'author': quote.xpath('span/small[@class="author"]/text()').extract_first(),
            }

        next_page = response.xpath('//li[@class="next"]/@herf').extract_first()
        if next_page is not None:
            next_page = response.urljoin(next_page)
            yield scrapy.Request(next_page, callback=self.parse)

  4. 按照链接进行爬取：

    import scrapy

class StackOverflowSpider(scrapy.Spider):
    name = 'stackoverflow'
    start_urls = ['http://stackoverflow.com/questions?sort=votes']

    def parse(self, response):
        for href in response.xpath('//*[@class="question-summary"]/div[2]/h3/a/@href'):
            full_url = response.urljoin(href.extract())
            yield scrapy.Request(full_url, callback=self.parse_question)

    def parse_question(self, response):
        yield {
            'title': response.xpath('//*[@id="question-header"]/h1/a/text()').extract(),
            'votes': response.xpath('//span[@itemprop="upvoteCount"]/text()').extract_first(),
            'body': response.xpath('//*[@id="question"]/table/tbody/tr[1]/td[2]/div/div[1]/text()').extract(),
            'tags': ",".join(response.xpath('//div[@class="post-taglist"]/a/text()').extract()),
            'link': response.url,
        }

  • 不同类型spider：

  1. CrawlSpider ：链接爬取蜘蛛 ，属性rules：Rule对象列表，定义规则：

  2. XMLFeedSpider ：XML订阅蜘蛛，通过某个指定的节点来遍历 ：

  3. CSVFeedSpider ：类似XML订阅蜘蛛，逐行迭代，调用parse_row()解析：

  • Scrapy组件Item：①保存数据的地方；

    ②Item Loader可方便填充 

  • Scrapy组件Item Pipeline :

  1. 当一个item被蜘蛛爬取到之后会被发送给Item Pipeline，然后多个组件按照顺序处理这个item；

  2. Item Pipeline常用场景：①清理HTML数据 ；②验证被抓取的数据(检查item是否包含某些字段) ；③重复性检查(然后丢弃) ；④将抓取的数据存储到数据库中 

  3. 定义一个Python类，实现方法process_item(self, item, spider)即可，返回一个字典或Item，或者抛出DropItem异常丢弃这个Item。

  4. 经常会实现以下的方法：①open_spider(self, spider) 蜘蛛打开的时执行；②close_spider(self, spider) 蜘蛛关闭时执行 ；f③rom_crawler(cls, crawler) 可访问核心组件比如配置和信号，并注册钩子函数到Scrapy中 

  5. 具体案例代码：

To be continue......

张楚岚
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于Scrapy的网络爬虫和Sklearn的机器学习算法
lw_816的博客
06-03 1429
本着对网络爬虫的兴趣，在闲来无事时做了一个有关网络爬虫的项目，本项目用的是Scrapy爬虫框架，同时为了有效利用这些数据，用入门的sklearn对这些数据进行预处理并训练除了一个预测模型，下面开始本项目的介绍。1、数据准备与爬虫本项目以房天下网站北京市租房信息为对象，首先确定爬取的房屋属性为：标题、出租方式、户型、建筑面积、朝向、楼层、装修程度等因素。首先我们获取要爬取内容的首页为http://z...
Scrapy深度优先与广度优先算法
xiaomoxian567的博客
12-08 2068
这个是个人纪录，如果哪里不对，还希望评论里指点，谢谢。 深度优先就是：A—>B—>D—>E—>-I–>C—>F—>G—>H 广度优先就是：A—>B—>C—>D—>E—>F—>G—&gt
Scrapy学习笔记-3.深度优先和广度优先算法
温馨娜的博客
01-29 876
1. 网站url捷信 2.深度优先算法、广度优先算法及其实现 P.S. 需进一步学习推荐中国大学慕课网浙大陈越和何钦明老师的数据结构课程 https://www.icourse163.org/course/ZJU-93001 Scrapy默认通过深度优先算法实现 深度优先输出：A、B、D、E、I、C、F、G、H（递归实现） 广度优先输出：A、B、C、D、E、F、G、H、I（队列实现...
python 爬虫框架 scrapy 学习笔记
taotaobaobei的博客
10-05 269
scrapy project xxxx scrapy genspider xxxxx "http://www.xx.com" 编写items.py 明确要提取的数据 编写spiders/xxx.py 编写爬虫文件处理请求和响应 编写pipelines.py 编写管道文件，处理spider返回item数据 编写settings.py 启用管...
Python|什么是Scrapy
算法与编程之美
05-26 631
欢迎点击「算法与编程之美」↑关注我们！本文首发于微信公众号："算法与编程之美"，欢迎关注，及时了解更多此系列文章。欢迎加入团队圈子！与作者面对面！直接点击！一、Scrap...
Python爬虫框架Scrapy教程 完整版PDF
04-06
《Python爬虫框架Scrapy教程》主要是针对学习python爬虫的课程，又基础的python爬虫框架scrapy开始，一步步学习到最后完整的爬虫完成，现在python爬虫应用的非常广泛，本文档详细介绍了scrapy爬虫和其他爬虫技术的...
python爬虫课程ppt及对应的练习程序
最新发布
03-09
这份"python爬虫课程"的PPT及配套练习程序提供了全面的学习资源，帮助初学者和进阶者深入理解并掌握Python爬虫技术。以下是基于这个主题的详细知识点讲解： 1. **Python基础**：Python作为爬虫开发的首选语言，其...
基于python和scrapy的电影数据爬虫
03-16
**Python和Scrapy在电影数据爬取中的应用** 在当今数据驱动的时代，获取网络上的大量信息，特别是结构化的数据，成为许多项目和研究的基础。Python作为一种强大的编程语言，因其简洁的语法和丰富的库支持，成为了...
完整版 Python高级开发课程 高级教程 09 Python爬虫框架Scrapy实战.pptx
09-25
通过这个课程，学员将能够熟练地运用Python进行数据处理、网络爬虫和Web应用开发，同时具备处理复杂项目的能力。无论是数据分析、自动化脚本编写还是构建大型网站，这些知识都将为开发者提供坚实的基石。
Python网络爬虫实战-Scrapy1-4_课件
03-10
本课程聚焦于使用Python的Scrapy框架进行网络爬虫实战，帮助你掌握这一强大的爬虫工具。 **Scrapy简介** Scrapy是一个用Python编写的高级爬虫框架，它提供了完整的解决方案，包括数据抓取、处理、存储等环节，使得...
【educoder实训答案】Scrapy爬虫之网站图片爬取
weixin_44949187的博客
05-08 3791
第1关：爬取网站实训图片的链接 # -*- coding: utf-8 -*- import scrapy class EduspiderSpider(scrapy.Spider): name = 'eduSpider' allowed_domains = ['127.0.0.1'] start_urls = ['http://127.0.0.1:8080/imgs/'] def parse(self, response): #********** Beg
初窥scrapy爬虫
weixin_30600503的博客
10-31 77
2017-10-30 21:49:55 前言： 初步使用scrapy爬虫框架，爬取各个网站信息 系统环境： 64位win10系统，装有64位python3.6，IDE为pycharm，使用cmd命令行工具 预备知识： XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似，以下是最有用的路径表达式： ...
Python爬虫之scrapy的入门使用
不一样的花朵的博客
09-26 347
scrapy的入门使用 学习目标： 掌握 scrapy的安装 应用 创建scrapy的项目 应用 创建scrapy爬虫 应用 运行scrapy爬虫 应用 scrapy定位以及提取数据或属性值的方法 掌握 response响应对象的常用属性 1 安装scrapy 命令:     sudo apt-get install scrapy 或者：     pip/pip3 install scrapy 2 scrapy项目开发流程 创建项目:     scrapy startproject mySpider
Scrapy 的 Spider 的编写
李威威的博客
09-09 992
当然，我们也可以自己写 .py 文件，不过，下面我们要介绍使用 Scrapy 的模板来生成爬虫文件的方法。在 iTerm2 中输入：scrapy genspider iqianyue http://iqianyue.com/从上图中，我们可以看到，默认，使用模板 “basic” 创建了 spider “iqianyue”，程序在 spiders 文件夹下就生成了模板文件：# -*- coding:
1. Scrapy爬取网站实训图片的链接
qq_42856609的博客
01-29 7709
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言1.任务描述2.相关知识生成Scrapy爬虫制作Scrapy爬虫运行Scrapy爬虫3.编程要求4.测试说明5.笔者答案通过截图总结 前言 Scrapy爬虫之网站图片爬取 Scrapy爬取网站实训图片的链接 提示：以下是本篇文章正文内容，下面案例可供参考 1.任务描述 本关任务：使用Scrapy爬取给定网站的图片链接，并保存到本地。 2.相关知识 为了完成本关任务，你需要掌握： Scrapy基本操作； xpath匹配；
头歌实训答案:Scrapy爬虫之网站图片爬取
qq_53776431的博客
06-20 6053
Scrapy爬虫之网站图片爬取
Scrapy 入门学习笔记(2) -- xpath 与 css 解析以及解析网页示例
热门推荐
艾希射日
05-15 1万+
最近学习用 Scrapy 框架写爬虫，简单来说爬虫就是从网上抓取网页，解析网页，然后进行数据的存储与分析，将从网页的解析到数据的转换存储。将学习过程中用到的解析技术，Scrapy 的各个模块使用与进阶到分布式爬虫学到的知识点、遇到的问题以及解决方法记录于此，以作总结与备忘，也希望对需要的同学有所帮助。本篇主要讲解 xpath 、css 解析网页的语法以及在 Scrapy 中的使用
scrapy学习笔记（二）框架结构工作原理
weixin_30663471的博客
07-03 285
scrapy结构图： scrapy组件： ENGINE：引擎，框架的核心，其它所有组件在其控制下协同工作。 SCHEDULER：调度器，负责对SPIDER提交的下载请求进行调度。 DOWNLOADER：下载器，负责下载页面（发送HTTP请求/接收HTTP响应）。 SPIDER：爬虫，负责提取页面中的数据，并产生对新页面的下载请求。 MIDDLEWARE：中间件，负责对Reque...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值