【爬虫】第七部分 scrapy

最新推荐文章于 2024-09-27 22:51:18 发布
最新推荐文章于 2024-09-27 22:51:18 发布
阅读量701 收藏 1
点赞数 1
分类专栏： python 爬虫 文章标签： 爬虫 scrapy python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/trees__/article/details/128691210
版权

【爬虫】第七部分 scrapy

文章目录

7. scrapy

7.1 基本使用

  1. pip install scrapy 安装

  2. 在终端运行以下代码: scrapy startproject 项目名字 创建爬虫项目(名字不要中文)

  3. cd 进入到 spiders,再运行下面创建爬虫文件的指令

在这里插入图片描述

scrapy genspider 爬虫文件名 要爬取的网页 创建爬虫文件(名字不要中文)

ex: scrapy genspider xxx www.xxx.com

这个时候我们就会看到spiders下面生成了xxx.py文件
在这里插入图片描述

  1. 运行爬虫文件 scrapy crawl 爬虫文件名字 ,注意运行之前到settings中将robot协议改了,才可以爬取

在这里插入图片描述


7.2 项目的文件结构

scrapy 项目的文件结构
    - 项目名
        - 项目名
           - spiders
                init
                自定义的爬虫文件
           - init
           - items  定义数据结构的地方
           - middleware 中间件  代理
           - pipelines  管道 用来处理下载下来的数据
           - settings 配置文件 robots协议 us定义等

7.3 response的方法和属性

extract(): 这个方法返回的是一个数组list，里面包含了多个string，如果只有一个string，则返回[‘ABC’]这样的形式。

extract_first()：这个方法返回的是一个string字符串，是list数组里面的第一个字符串

import scrapy

class BaiduSpider(scrapy.Spider):
    # 爬虫文件的名字,用于运行爬虫的时候使用
    name = 'baidx'
    # 允许访问的域名
    allowed_domains = ['www.baidx.com']
    # 起始的url地址,指的是第一次要访问的域名
    # 这里需要注意一下,一般情况下将start_urls中 / 给去掉,不然容易出现一些问题
    start_urls = ['http://www.baidx.com']

    # 该方法中的response相当于 response = requests.get()
    def parse(self, response):
        res1 = response.text  # 拿到的是字符串,网页源码
        res2 = response.body  # 拿到的是二进制数据
        print("===========================================================")
        # 可以直接使用xpath的方法
        content = response.xpath('//input[@id="su"]/@value')
        # 使用extract()方法进行提取
        print(content.extract())

7.4 小案例

爬取汽车信息

import scrapy


class CarSpider(scrapy.Spider):
    name = 'car'
    allowed_domains = ['https://xxx.autohome.com.cn/price/brand-15.html']
    start_urls = ['https://xxx.autohome.com.cn/price/brand-15.html']

    def parse(self, response):
        print("===========================")
        name_list = response.xpath('//div[@class="main-title"]/a/text()')
        price_list = response.xpath('//div[@class="main-lever-right"]/div/span/span/text()')
        for i in range(len(name_list)):
            res = name_list[i].extract() + '--->  ' + price_list[i].extract()
            print(res)

7.5 scrapy 工作原理

在这里插入图片描述

根据上述的流程图,绘制下图:

在这里插入图片描述

  1. 首先将spiders向引擎提供url
  2. 引擎将要爬取的url给调度器
  3. 调度器会将url生成请求对象放入到指定的队列中,队列中出队一个请求给引擎
  4. 引擎将请求件给下载器进行处理
  5. 下载器发送请求获取互联网数据
  6. 下载回来
  7. 下载器将数据返回给引擎
  8. 引擎将数据交给spiders,通过xpath解析数据
  9. 解析后的 数据 或者 url 交给引擎
  10. 引擎进行判断,如果是url则交给调度器,进行上述操作,如果是数据就交给管道保存下来

7.6 管道的使用

  1. 创建项目 ： scrapy startproject dangdang

  2. 进入到spiders去创建爬虫文件 ： scrapy genspider dang_data https://book.dangdang.com/01.03.htm?ref=book-01-A

  3. 编写创建出来的爬虫文件

    import scrapy
# 导入定义数据结构
from dangdang.items import DangdangItem

class DangDataSpider(scrapy.Spider):
    name = 'dang_data'
    allowed_domains = ['https://book.dangdang.com/01.03.htm?ref=book-01-A']
    start_urls = ['https://book.dangdang.com/01.03.htm?ref=book-01-A']

    def parse(self, response):
        # src   //ul[@class="list_aa"]//li[@type="rollitem"]//li/a/img/@src
        # bookname //ul[@class="list_aa"]//li[@type="rollitem"]//li/p[@class="name"]/a/text()
        # author  //ul[@class="list_aa"]//li[@type="rollitem"]//li/p[@class="author"]/text()
        base = response.xpath('//ul[@class="list_aa"]//li[@type="rollitem"]//li')
        # 只要是selector对象就可以继续调用xpath
        for item in base:
            # 在这里需要注意加上 .  ,表示当前
            src = item.xpath('./a/img/@src').extract_first()
            bookname = item.xpath('./p[@class="name"]/a/text()').extract_first()
            author = item.xpath('./p[@class="author"]/text()').extract_first()
            # book实际上就是通过items整理好的对象，将该对象交给pipelines下载
            book = DangdangItem(src=src, bookname=bookname, author=author)
            # 使用yield 把对象交给pipelines
            yield book

  4. 在items文件中定义数据结构

    import scrapy

class DangdangItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # 在这里需要去定义你要下载的数据有哪些
    # 图片
    src = scrapy.Field()
    # 书名
    bookname = scrapy.Field()
    # 作者
    author = scrapy.Field()

  5. settings去开启管道

在这里插入图片描述

  1. 在pipelines文件中编写

    # 在使用管道前，需要去settings下开启管道
class DangdangPipeline:
    # 这是一个在爬虫文件开始之前就执行的一个方法
    def open_spider(self, spider):
        self.f = open('book_msg.json', 'w', encoding='utf-8')

    def process_item(self, item, spider):
        # 这里的item就是yield返回过来的对象
        # write方法必须接受一个字符串而不能是其他的对象，需要强转
        self.f.write(str(item))
        # 注意一定要返回
        return item

    # 在爬虫文件执行完之后执行的一个方法：
    def close_spider(self, spider):
        self.f.close()

7.7 多管道下载

  1. 在pipelines原先的基础上模仿写

    # 在使用管道前，需要去settings下开启管道
class DangdangPipeline:
    # 这是一个在爬虫文件开始之前就执行的一个方法
    def open_spider(self, spider):
        self.f = open('book_msg.json', 'w', encoding='utf-8')

    def process_item(self, item, spider):
        # 这里的item就是yield返回过来的对象
        # write方法必须接受一个字符串而不能是其他的对象，需要强转
        self.f.write(str(item))
        return item

    # 在爬虫文件执行完之后执行的一个方法：
    def close_spider(self, spider):
        self.f.close()


import urllib.request


# 开启多管道下载
class DangdangDownload:
    def process_item(self, item, spider):
        url = 'https:' + item.get('src')
        filename = './books/' + item.get('bookname') + '.png'
        urllib.request.urlretrieve(url=url, filename=filename)
        return item

  2. 到settings文件中去添加新的管道，一样模仿这写

    # 开启管道，管道是有优先级的，优先级的范围是1-1000，值越小优先级越高
ITEM_PIPELINES = {
    'dangdang.pipelines.DangdangPipeline': 300,
    # 开启多管道
    'dangdang.pipelines.DangdangDownload': 301
}

7.8 下载分页类型和get请求的使用

创建出来的爬虫文件

import scrapy
import json
from pptmodel.items import PptmodelItem


class PptDemoSpider(scrapy.Spider):
    name = 'ppt_demo'
    # 对于下载分页这种类型，allowed_domains需要写成域名
    allowed_domains = ['theuser.zhuisoft.com']
    start_urls = [
        'http://theuser.zhuisoft.com/template/ajax_web/data_list?class=&type_id=0&order_by=0&title=&format=&page=0&num=40']

    def parse(self, response):
        res = response.text
        data = json.loads(res).get('data')
        for item in data:
            title = item.get('title')
            img = item.get('cover_img')
            ppt = PptmodelItem(title=title, img=img)
            yield ppt
        
        # 下载3页
        for i in range(1, 3):
            url = f'http://theuser.zhuisoft.com/template/ajax_web/data_list?class=&type_id=0&order_by=0&title=&format=&page={i}&num=40'
            # scrapy.Request 就是scrapy的get请求,注意这里调用函数不能写括号
            yield scrapy.Request(url=url, callback=self.parse)

7.9 下载多层级类型

创建出来的爬虫文件

import scrapy
from movie_demo.items import MovieDemoItem


class MvSpider(scrapy.Spider):
    name = 'mv'
    allowed_domains = ['0dytt.com']
    start_urls = ['https://0dytt.com/frim/1.html']

    """
        案例描述: 
            1. 需要在首页拿到电影名和跳转的链接
            2. 请求跳转的链接,xpath解析,拿到电影海报
    """

    def parse(self, response):
        # href  //div[@class="hy-video-list"]//li/a/@href
        # title //div[@class="hy-video-list"]//li/a/@title

        base = response.xpath('//div[@class="hy-video-list"]//li/a')
        for i in base:
            href = 'https://0dytt.com' + i.xpath('./@href').extract_first()
            film_name = i.xpath('./@title').extract_first()

            # 这个时候去请求拿到的新链接
            # 在这里使用meta参数用来将电影名传入parse_picture
            yield scrapy.Request(url=href, callback=self.parse_picture, meta={"film_name": film_name})

    # 因为页面结构的不同不能像上一个案例那样调用自己,所以需要创建一个新的函数
    def parse_picture(self, response):
        all_actor = ''
        style = response.xpath('//div[@class="hy-video-details clearfix"]//a/@style').extract_first()
        lead_actor = response.xpath('//div[@class="hy-video-details clearfix"]//ul/li[1]//a/text()').extract()
        for actor in lead_actor:
            all_actor = all_actor + actor
        film_name = response.meta['film_name']
        start = style.find('(')
        end = style.find(')')
        src = 'http' + style[start + 6:end]

        info = MovieDemoItem(src=src, film_name=film_name, lead_actor=all_actor)
        yield info

pipelines文件

class MovieDemoPipeline:
    def open_spider(self, spider):
        self.f = open('movie.json', 'w', encoding='utf-8')

    def process_item(self, item, spider):
        self.f.write(str(item) + ',')
        return item

    def end_spider(self, spider):
        self.f.close()


import urllib.request
import random


class MoviePicture:
    def process_item(self, item, spider):
        src = item.get('src')
        filename = 'posters/' + item.get('film_name') + '.jpg'
        # 在这里遇到了防爬,所以需要进行伪装
        ua_list = ['Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:102.0) Gecko/20100101 Firefox/102.0',
                   'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36',
                   'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.114 Safari/537.36 Edg/103.0.1264.62',
                   'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:98.0) Gecko/20100101 Firefox/98.0',
                   'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.81 Safari/537.36 SE 2.X MetaSr 1.0'
                   ]
        # 创建opener对象
        opener = urllib.request.build_opener()
        # 给opener添加请求头
        opener.addheaders = [('User-Agent', random.choice(ua_list))]
        # 将opener设置为全局安装
        urllib.request.install_opener(opener)
        urllib.request.urlretrieve(url=src, filename=filename)
        return item

7.10 post请求的使用

import scrapy
import json


class TranslateSpider(scrapy.Spider):
    name = 'translate'
    allowed_domains = ['fanyi.baidu.com']
    # start_urls = ['http://fanyi.baidu.com/sug']
    # def parse(self, response):
    #     pass
    """
        这里的写法,和我们使用get请求就不一样了
        因为post请求需要携带参数,而start_urls第一次请求没有办法携带,
        导致parse函数接收不到response,所以注释掉
    """

    def start_requests(self):
        url = 'http://fanyi.baidu.com/sug'
        data = {
            "kw": "hello"
        }
        # scrapy.FormRequest()就是post请求
        yield scrapy.FormRequest(url=url, formdata=data, callback=self.parse_1)

    def parse_1(self, response):
        res = response.text
        print(json.loads(res))

总结

以上就是今天要讲的内容，希望对大家有所帮助！！！

Tree_wws
关注
专栏目录
bili_danmu_爬虫_CRAWL_scrapy_
09-30
5. **网页解析**：在B站弹幕爬虫中，可能需要使用Scrapy的内置解析器（如`Selector`）或第三方库如BeautifulSoup，解析HTML以找到弹幕数据的JavaScript变量或隐藏元素。 6. **请求与响应处理**：Scrapy使用`Request...
scrapy 爬虫框架
10-24
- **快速启动**：Scrapy 提供了一个快速入门指南，帮助新手快速搭建第一个爬虫项目。 - **官方文档**：官方文档是学习 Scrapy 最权威的资料，包含了从基础知识到高级用法的详细内容。 #### 三、Scrapy 基本概念 1....
Python scrapy 爬虫入门（七）突破反爬虫技术
12-21
在Python的Scrapy框架中，爬虫开发过程中经常会遇到网站的反爬虫策略。本篇文章主要探讨了如何在Scrapy中突破这些限制，确保爬虫的稳定运行。 首先，反爬虫技术通常包括限制请求频率、检查请求头、管理cookie以及...
我的毕业设计爬虫，python、scrapy.zip
04-05
7. **Scrapy扩展**：可能涉及到自定义中间件、下载器中间件和爬虫中间件，以实现特定功能，如处理JavaScript渲染、模拟登录等。 8. **异常处理和错误恢复**：在爬虫开发中，必须考虑到网络异常、页面结构改变等情况...
详解Python的爬虫框架 Scrapy
09-16
Scrapy是一个强大的Python爬虫框架，它为开发者提供了构建高效、可扩展的网络爬虫的工具。Scrapy的架构设计使得爬虫开发更加简洁，它包括了多个关键组件，如Scrapy Engine（引擎）、Scheduler（调度器）、Downloader...
爬取元气手机壁纸简单案例（仅用于教学，禁止任何非法获利）
2301_79810514的博客
09-27 697
BeautifulSoup 是一个用于解析 HTML 和 XML 的 Python 库，提供了方便的工具来提取和处理网页数据。以下是对 BeautifulSoup 的一些关键点的介绍：安装安装 requests。
Python爬虫爬取王者荣耀英雄信息并保存到图数据库
最新发布
WwLK123的博客
09-27 734
利用Python爬虫爬取王者荣耀全部英雄信息，并保存到图数据库。
加载数据模型：在数据采集中实现动态数据处理
ip16yun的博客
09-24 696
在现代网络爬虫技术中，数据的动态处理成为了提升采集效率和准确性的重要手段。随着目标网站数据的多样性和复杂性增加，静态数据采集方法逐渐无法满足需求。本文以拼多多为例，探讨如何通过加载数据模型实现动态数据处理，并结合代理IP、Cookie、User-Agent设置及多线程技术提升数据采集的效率。
爬虫逆向学习(九)：记录一个集cookie、请求参数、请求体、响应文本加密的站点反爬
九月镇领将的博客
09-25 283
一个集cookie、请求参数、请求体、响应文本加密的站点反爬
爬虫过程 | 蜘蛛程序爬取数据流程（初学者适用）
Qj60776671的博客
09-22 656
整个流程是一个迭代的过程，爬虫系统不断地从调度器获取新的URL，下载内容，解析数据，存储结果，然后返回新的URL给调度器，直到满足某个终止条件（如队列为空、 达到预定的抓取数量、 超过时间限制 、用户手动停止）
蜘蛛爬虫，图片爬虫，数据爬虫三种有什么不同
yypzy27997的博客
09-23 420
蜘蛛爬虫，也称为网络爬虫或搜索引擎爬虫，是一种自动访问网页的程序，主要用于抓取网站内容并建立索引。图片爬虫是一种专门用于抓取网络上图像内容的爬虫程序。数据爬虫是指专门用于抓取特定数据（如文本、结构化数据等）的爬虫。蜘蛛爬虫主要用于抓取和索引网页内容，支持搜索引擎的功能。图片爬虫专注于抓取网络上的图像文件，通常用于图像处理和分析。数据爬虫则专门用于获取特定的数据，通常关注文本和结构化信息的提取和处理。
Python项目周报
m0_62840476的博客
09-23 662
网站数据爬取工具: 2024年9月16日 - 2024年9月22日。
xpath在爬虫中的应用、xpath插件的安装及使用
DngYT的博客
09-25 422
1、打开谷歌浏览器进入扩展程序安装页面(右上角会有"开发者模式按钮")默认是关闭的，当安装此插件时需要把开发者模式打开。2、下载下来的xpath_helper是zip格式的，需要解压缩即可安装。关于xpath语法有很多，可以参考以下各个平台的学习网站。3、重启浏览器，再次点击扩展程序即可看见安装好的插件。
【爬虫】PlayWright使用说明
Code_LT的博客
09-24 1048
持续更新中。
【目标检测】隐翅虫数据集386张VOC+YOLO
lwx666sl的博客
09-24 589
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)隐翅虫数据集：图片来自网页爬虫，删除重复项后整理标注而成。标注类别名称:["yinchichong"]yinchichong 框数 = 489。图片数量(jpg文件个数)：386。标注数量(xml文件个数)：386。标注数量(txt文件个数)：386。使用标注工具：labelImg。标注规则：对类别进行画矩形框。
如何编写爬虫以获取小说网站实时更新的最新小说
KookeeyLena1的博客
09-20 810
以上示例展示了如何编写一个简单的爬虫以实时获取小说网站的最新小说。通过适当的修改和扩展，这个基础示例可以满足多种需求，并帮助你监控小说的更新情况。
python爬虫案例——腾讯网新闻标题(异步加载网站数据抓取，post请求)（6）
m0_59470317的博客
09-22 301
本篇案例主要讲解异步加载网站如何分析网页接口，以及如何观察post请求URL的参数，网站数据并不难抓取，主要是将要抓取的数据接口分析清楚，才能根据需求编写想要的代码。
Selenium爬虫-获取天气并使用MapReduce分析温度最高的那一天
qq_44715376的博客
09-24 624
Selenium爬虫
python爬虫中json和xml字符串的xPath和jsonpath过滤语法区别对比
weixin_43794311的博客
09-22 550
记录爬虫中提取数据的两个常见方式xpath和jsonpath
Python爬虫框架Scrapy实践：爬取豆瓣电影数据
Scrapy 框架的工作流程是：首先我们将入口 url 交给 spider 爬虫，爬虫通过引擎将 url 放入调度器，经调度器排队之后返回第一个请求 Request，引擎再将请求转交给下载器进行下载，下载好的数据交给爬虫进行爬取，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值