初识爬虫框架Scrapy

最新推荐文章于 2024-10-16 17:48:16 发布
最新推荐文章于 2024-10-16 17:48:16 发布
阅读量564 收藏 2
点赞数 6
分类专栏： java 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42641075/article/details/105349328
版权

初识Scrapy笔记

安装

  1. 安装: 通过pip install scrapy 即可安装
  2. Scrapy官方文档: https://scrapy.org/en/latest

注意:

  1. 在ubuntu上安装scrapy之前需要安装以下依赖:

sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlibig-dev libffi-dev libssl-dev, 然后在通过pip install scrapy安装

  1. 如果是windows系统,需要使用pip install pypiwin32安装pypiwin32,否则可能出现错误

快速入门

  1. 创建scrapy工程: scrapy startproject 项目名

  2. 初始化工程: scrapy genspider 爬虫名称 需要爬取的网站

  3. 启动scrapy项目: scrapy crawl 爬虫名称

开始更改ROBOTSTXT_OBEY = False,打开request_headers

目录结构:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7gSsQsXi-1586171584570)(Scrapy笔记.assets/image-20200405161045601.png)]

项目目录结构

  1. items.py:用来存放爬虫爬取下来数据的模型。
  2. middlewares.py:用来存放各种中间件的文件。
  3. pipelines.py:用来将items 的模型存储到本地磁盘中。
  4. settings.py:本爬虫的一-些配置信息(比如请求头、多久发送一-次请求、ip代理池等)。
  5. scrapy.cfg: 项目的配置文件。
  6. spiders包:以后所有的爬虫,都是存放到这个里面。

爬虫笔记

  1. response是一个scrapy.http.response.html.HTMLResponse对象,可以使用xpath和css来提取数据

  2. 提取出来的数据是一个Seletor或则是一个SelectorList对象,如果想要获取字符串,那么应该执行getall 或则get方法

  3. getall方法:获取的是Selector中的文本,返回的是一个列表

  4. get方法:获取的是Selector中的第一个文本,返回的是一个str类型

  5. 如果数据解析回来,要传给pipline处理,那么可以使用yield来返回,或则是收集所有的item,最后统一使用return返回

  6. item:建议在items.py定义好模型

  7. pipeline: 专门用来保存数据的,其中三个方法是经常用的

    • open-spider(self, spider):当爬虫被打开的时候执行

    • process_item(self, item,spider): 当爬虫有itme传过来的时候会被调用

    • close_spider(self,spider):当爬虫关闭的时候会调用

      要激活pipline,应该再settings.py中,设置ITEM_PIPELINES

JsonItemExporter和JsonLinesItemExporter

保存json数据的时候,可以使用这两个类,让操作变得更加简单

  1. JsonItemExporter:这个是每次把数据添加到内存中,最后一次写入磁盘中,好处是储存的数据是一个json规则的数据,坏处是如果数据量大,会比较耗内存

    示例:

    from scrapy.exporters import JsonItemExporter
#
# class DoubanCrawlPipeline(object):
#     def __init__(self):
#         self.fp = open("douban.json", "wb")
#         self.exporter = JsonItemExporter(self.fp,ensure_ascii=False, encoding='utf-8')
#         self.exporter.start_exporting()
#     def open_spider(self, spider):
#         print("crawl starting...")
#
#     def process_item(self, item, spider):
#         self.exporter.export_item(item)
#         return item
#
#     def close_spider(self, spider):
#         self.exporter.finish_exporting()
#         self.fp.close()
#         print("crawl finish.")

  2. JsonLinesItemExporter:每次调用export_item的时候就把这个item储存到硬盘中,坏处是每一个字典是一行,整个文件不是一个满足json格式的文件,好处是每次处理数据就储存到硬盘中,不会耗费内存

    实例:

    
from scrapy.exporters import JsonLinesItemExporter
class DoubanCrawlPipeline(object):
    def __init__(self):
        self.fp = open("douban.json", "wb")
        self.exporter = JsonLinesItemExporter(self.fp,ensure_ascii=False, encoding='utf-8')

    def open_spider(self, spider):
        print("crawl starting...")

    def process_item(self, item, spider):
        self.exporter.export_item(item)
        return item

    def close_spider(self, spider):
        self.fp.close()
        print("crawl finish.")

    开始更改ROBOTSTXT_OBEY = False,打开request_headers

案例1:

爬取www.yicommunity.com中的数据,原本打算爬取douban的,结果发现豆瓣有反爬机制

  1. 创建工程

    • 切换到python工程文件夹,打开cmd输入:

    scrapy startproject douban

    • 切换到douban目录:cd douban
    • 创建爬虫文件: scrapy genspider douban_spider http://www.yicommunity.com/

  2. 编写代码

    • 修改settings.py

      #开启后会自动读取robots.txt中的规则
ROBOTSTXT_OBEY = False   
#开启延时,防止速度太快,被服务区封ip
DOWNLOAD_DELAY = 1		
#添加请求头信息,将爬虫伪装成正常的浏览器访问
DEFAULT_REQUEST_HEADERS = {
 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en',
     }
#开启后才可以使用进行保存文件
ITEM_PIPELINES = {
   'douban_crawl.pipelines.DoubanCrawlPipeline': 300,
}

    • 编写douban.py文件

      # -*- coding: utf-8 -*-
import scrapy
from scrapy.http.response.html import HtmlResponse
from scrapy.selector.unified import SelectorList
from douban_crawl.items import DoubanCrawlItem

class DoubanSpider(scrapy.Spider):
# 原本打算 爬取豆瓣的发现爬不了
    name = 'douban'
    allowed_domains = ['http://www.yicommunity.com/']
    start_urls = ['http://www.yicommunity.com/remen/']
    base_url = 'http://www.yicommunity.com'

    def parse(self, response):
        print("=="*40)
        doubandivs = response.xpath("//div[@class='col1']/div")
        for doubandiv in doubandivs:
            author = doubandiv.xpath(".//div[@class='author']/text()").get()
            content = doubandiv.xpath(".//div[@class='content']/text()").getall()
            content = "".join(content).strip()
            # print(content)
            # douban = {"author": author, "content": content}
            item = DoubanCrawlItem(author=author, content=content)
            yield item
            next_url = response.xpath("//div[@class='pagebar']/a[last()]/@href").get()
            print("url"+next_url)
            if not next_url:
                return
            else:
                yield scrapy.Request(self.base_url + next_url, callback=self.parse, dont_filter=True)

    • 修改item.py,将保存的文件以对象形式进行保存

      import scrapy

class DoubanCrawlItem(scrapy.Item):
    author = scrapy.Field()
    content = scrapy.Field()

    • 修改pipelines.py

      # -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
import json

### 法一:
# class DoubanCrawlPipeline(object):
#     def __init__(self):
#         self.fp = open("douban.json", "w", encoding="utf-8")
#
#     def open_spider(self, spider):
#         print("crawl starting...")
#
#     def process_item(self, item, spider):
#         item_json = json.dumps(dict(item), ensure_ascii=False)
#         self.fp.write(item_json + "\n")
#         return item
#
#     def close_spider(self, spider):
#         self.fp.close()
#         print("crawl finish.")


## 法二
from scrapy.exporters import JsonItemExporter
#
# class DoubanCrawlPipeline(object):
#     def __init__(self):
#         self.fp = open("douban.json", "wb")
#         self.exporter = JsonItemExporter(self.fp,ensure_ascii=False, encoding='utf-8')
#         self.exporter.start_exporting()
#     def open_spider(self, spider):
#         print("crawl starting...")
#
#     def process_item(self, item, spider):
#         self.exporter.export_item(item)
#         return item
#
#     def close_spider(self, spider):
#         self.exporter.finish_exporting()
#         self.fp.close()
#         print("crawl finish.")

### 法三
from scrapy.exporters import JsonLinesItemExporter
class DoubanCrawlPipeline(object):
    def __init__(self):
        self.fp = open("douban.json", "wb")
        self.exporter = JsonLinesItemExporter(self.fp,ensure_ascii=False, encoding='utf-8')

    def open_spider(self, spider):
        print("crawl starting...")

    def process_item(self, item, spider):
        self.exporter.export_item(item)
        return item

    def close_spider(self, spider):
        self.fp.close()
        print("crawl finish.")

    • 编写启动文件

      from scrapy import cmdline
cmdline.execute("scrapy crawl douban".split())

CrawlSpider

首先创建crawlspider工程:
- scrapy startproject wxapp
- scrapy genspider -t crawl wxapp_spider wxapp-union.com
需要使用LinkExtractor 和Rule这两个东西来决定爬虫的具体走向

  1. allow设置规则的方法,要能够限制在我们想要url上面,不要更其他的url产生相同的正则表达式
  2. 什么情况下使用follow,如果在爬取页面的时候,需要将满足当前条件的url在进行更进,那么就设置为true,否则设置为false
  3. 什么情况下使用callback,如果这个url对应的页面,只是为了获取更多的url,并不需要里面的数据,那么可以不指定callback,如果想要获取url对应页面的数据,那么就需要指定一个callback
xiaoye-2018
关注
专栏目录
Python爬虫之Scrapy框架系列（1）——初识Scrapy框架【安装+简介+运行流程+组件介绍】
孤寒者的博客
07-05 3万+
Python爬虫之Scrapy框架系列（1）——初识Scrapy框架【安装+简介+运行流程+组件介绍】
【Scrapy框架一】初步认识爬虫框架
好记性不如烂笔头
04-18 826
文章目录前言一、Scrapy简介二、Scrapy环境安装三、爬虫原理简述四、新建一个简单爬虫项目4.1 新建项目4.2 创建爬虫4.3 运行爬虫总结 前言 接触过Requests + BeautifulSoup之后，Scrapy是我接触的第一个爬虫框架。 参考文档： 爬虫官方文档 一、Scrapy简介 Scrapy是一套基于Twisted的异步处理应用程序框架，用于抓取网站和提取结构化数据，这些数据可用于广泛的应用程序，如数据挖掘、信息处理或历史存档。 二、Scrapy环境安装 windows上安装sc
Python | 初识爬虫框架Scrapy
Python专栏
09-06 316
一、前言今天给大家分享的是，Python里的爬虫框架Scrapy学习，包含python虚拟环境的搭建、虚拟环境的使用、Scrapy安装方法详解、Scrapy基本使用、Sc...
网络爬虫——初识爬虫框架Scrapy
nanfeng101的博客
12-23 980
综上所述，Scrapy是一个功能强大、高效、灵活的Python爬虫框架，适用于数据挖掘、监测和自动化测试等多种应用场景。但在使用过程中需要注意其不足之处，并采取相应的措施加以改进和优化。
初识爬虫框架 Scrapy
Python知识圈
08-25 124
点击上方"brucepk"，选择"置顶公众号"第一时间关注 Python 技术干货！“ 阅读文本大概需要 3.1 分钟今天带大家了解下 Scrapy ...
初识网络爬虫框架Scrapy
weixin_44067776的博客
12-11 1975
我们仍然是先用cd命令，从前面的项目路径，进入到scrapy项目里的Spider文件夹里，再通过运行scrapy genspider spidername domainname命令来创建一个新的Spider爬虫文件。2、在Spider部分：在爬虫文件里，我们向start_urls数组放入要爬取的url连接，框架就会经过引擎、调度器、下载器等一系列操作，再会返回一个response结果回到Spider的解析函数里，我们只需要对返回结果进行数据解析，解析完成的数据通过实体类传向管道。
python网络爬虫（第十章：初识爬虫框架Scrapy）
qq_38633279的博客
08-13 667
1.什么是框架 一个集成了很多功能且具有很强通用性的一个项目模拟。 2.如何学习框架 专门学习框架封装的各种功能的详细用法。 3.什么是Scrapy 爬虫中封装好的一个明星框架。 功能：高性能的持久化存储，异步的数据下载，高性能的数据分析，分布式 ...
Python爬虫 | 初识爬虫框架：Scrapy
你必须十分努力，才能看起来毫不费力！
11-24 257
目录一、 Scrapy 框架的安装二、Scrapy 创建一个新的项目三、 Scrapy 项目基本配置setting.pytest.py 一、 Scrapy 框架的安装 pip3 install Scrapy 出现这个就证明安装好了 BUG传送门：error: Microsoft Visual C++ 14.0 or greater is required. Get it with “Microsoft C++ Build Tools” 二、Scrapy 创建一个新的项目 创建项目：scrapy s
精通python爬虫框架-精通Python爬虫框架Scrapy PDF 中文清晰版
weixin_37988176的博客
11-01 1575
给大家带来的一篇关于Python爬虫相关的电子书资源，介绍了关于Python、爬虫、框架、Scrapy方面的内容，本书是由人民邮电出版社出版，格式为PDF，资源大小8.6 MB，迪米特里奥斯编写，目前豆瓣、亚马逊、当当、京东等电子书综合评分为：9.6。内容介绍Scrapy是1个开源系统的Python网络爬虫架构，能够用于轻轻松松获取从网页页面统计数据。Scrapy含有丰富多彩的特点，可根据简易的编...
大数据爬虫技术第10章 初识爬虫框架Scrapy.ppt
06-05
我们简单介绍一下各个主要文件的作用： scrapy.cfg --配置文件，用于存储项目的配置信息。 mySpider/ --项目的Python模块，将会从这里引用代码。 mySpider/items.py --实体文件，用于定义项目的目标实体。 mySpider/...
Python爬虫之Scrapy框架系列（22）——初识分布式爬虫scrapy_redis
热门推荐
孤寒者的博客
06-21 1万+
scrapy_redis是一个基于Redis的Scrapy组件，用于scrapy项目的分布式部署和开发。特点：分布式爬取：你可以启动多个spider对象，互相之间共享有一个redis的request队列。最适合多个域名的广泛内容的爬取。分布式数据处理：爬取到的item数据被推送到redis中，这意味着你可以启动尽可能多的item处理程序。scrapy即插即用：scrapy调度程序+过滤器，项目管道，base spider，使用简单。
深入学习Python爬虫框架Scrapy的使用
Scrapy是一个强大的开源网络爬虫框架，专注于提供高效的方式来提取网站数据。在本章中，我们将介绍Scrapy的基本概念，以及它的优势和安装配置方法。让我们一起来深入了解Scrapy吧！ ## 1.1 什么是Scrapy及其优势 ...
初识爬虫 - scrapy 爬取 51 （一）
徐小mu的博客
06-19 852
刚学会了建 scrapy 框架，当然就忍不住想去练练手了，就挑个 51 job 去了解一下职位需求情况。 前面我们已经说了如何去创建一个 scrapy 框架，以及改一下 setting 配置文件，这里我们还要先再改一下 setting 文件： 改这里是因为现在很多网站都设置了反爬虫的保护机制，如果我们不加自己设的 user-agent ，就很容易被 “ban” ，从而爬取不到我们所要的数据...
【人工智能学习之PaddleOCR快速上手】
Jiagym的博客
10-12 1212
在配置文件中，可以设置组建模型、优化器、损失函数、模型前后处理的参数，PaddleOCR从配置文件中读取到这些参数，进而组建出完整的训练流程，完成模型训练，在需要对模型进行优化的时，可以通过修改配置文件中的参数完成配置，使用简单且方便修改。而 L2 正则化中，添加正则化项的目的在于减少参数平方的总和。准确检测的标准是检测框与标注框的IOU大于某个阈值，正确识别的检测框中的文本与标注的文本相同。如果缺少带标注的数据，或者不想投入研发成本，建议直接调用开放的API，开放的API覆盖了目前比较常见的一些垂类。
目标检测系统中需要【重新训练模型】说明
2401_85556416的博客
10-13 386
打开"ultralytics\cfg\datasets\SODA10M.yaml"文件。将SODA10M.yaml的第一行数据集路径修改为自己数据集路径。以【基于YOLOv8的车辆行人目标检测系统】训练为例进行说明。训练模型的权重保存路径在"runs\detect\train\weights"目录下。给出的项目中已包含训练好的模型以及训练的结果，可直接使用。（3）运行main_model_train.py程序。（1）如果环境还没有搭建好的，首先要搭建训练环境。（4）训练模型保存路径。
Python 使用 Jarvis 算法或包装的凸包（Convex Hull using Jarvis’ Algorithm or Wrapping）
csdn_aspnet的专栏
10-14 1147
例如，当输入 (0, 3), (0, 0), (0, 1), (3, 0), (3, 3) 时，它产生 (0, 3) (0, 0) (3, 0) (3, 3) 的输出；当输入 (0, 3), (0, 1), (0, 0), (3, 0), (3, 3) 时，输出为 (0, 3) (0, 1) (0, 0) (3, 0) (3, 3)。下一个点被选为在逆时针方向上领先于所有其他点的点，即，如果对于任何其他点 r，我们有“orientation(p, q, r) = 逆时针”，则下一个点是 q。
有趣的开源项目——Taipy(构建Python数据和AI Web应用程序)
Soul丶君的博客
10-11 896
Taipy 是专为数据科学家和机器学习工程师设计的，用于构建数据与 AI Web 应用程序的工具。⭐️ 使构建生产就绪的 Web 应用程序成为可能。⭐️ 无需学习新的语言，仅需 Python。⭐️ 专注于数据和 AI 算法，而不用担心开发和部署的复杂性。
python爬虫快速入门之---Scrapy 从入门到包吃包住
最新发布
m0_63144319的博客
10-16 693
scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。Scrapy是一个开源的Python 爬虫框架，用于从网站上提取数据（即进行网络爬虫），并能将这些数据进行处理和存储。它的设计目标是简单高效地抓取大量网页，并提供强大的工具来进行数据的提取和分析。Scrapy shell是一个交互式shell（终端），您可以在其中快速调试您的抓取代码，而无需运行spider。
【python入门到精通专题】8.装饰器
情不知所起一往而深
10-13 764
什么是property属性？一种用起来像是使用的实例属性一样的特殊属性，可以对应于某个方法。class Foo:pass# 定义property属性@propertypassfoo_obj.func() # 调用实例方法foo_obj.prop # 调用property属性@propertyreturn 100定义时，在实例方法的基础上添加 @property 装饰器；并且仅有一个self参数调用时，无需括号。
Python爬虫框架Scrapy详解
"Scrapy是Python开发的爬虫框架，其设计灵感来源于Django，具有灵活性高、功能强大的特点。Scrapy提供了丰富的文档，包括初学者指南、安装教程、基本概念介绍，如命令行工具、爬虫、选择器、Item、ItemLoader、...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值