scrapy爬取小说整站,并下载图片保存到本地,获取本地地址存储到对应得小说

最新推荐文章于 2024-06-26 14:24:56 发布
最新推荐文章于 2024-06-26 14:24:56 发布
阅读量975 收藏 9
点赞数
分类专栏： scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42543264/article/details/105833561
版权

首先我们来看看代码吧,有些重点,我会单独列出来

1: 创建项目scrapy startproject books

2: 创建spider文件    scrapy genspider book quanshuwang.com            注: 本次项目案例爬取的是全书网

3: 更换目标的完整地址     http://www.quanshuwang.com

4: 我先说一下我这次的思路,本次爬取建立了数据库,数据库中有四张表

分别是:   分类表     小说介绍表      章节表     内容表

我们来看看都是怎么实现的吧

import scrapy
from ..items import BooksItem


class BookSpider(scrapy.Spider):
    name = 'book'
    allowed_domains = ['quanshuwang.com']
    start_urls = ['http://www.quanshuwang.com']

    def __init__(self):
        self.count = 0

    def parse(self, response):
        # 获取所有分类地址,目的所有分类下的所有小说
        classify_list_title = response.xpath("//nav[@class='channel-nav']//li/a/text()").extract()[:-1]
        for classify_title in classify_list_title:
            classify_title = classify_title                  # 获取分类名称
        classify_list_url = response.xpath("//nav[@class='channel-nav']//li/a/@href").extract()[:-1]
        for classify_url in classify_list_url:
            url = classify_url
            books_id = url.split("/")[-1].split("_")[-2]                  # 获取分类id，目的关联每部小说对应的分类
            yield scrapy.Request(url=url, callback=self.parse2, dont_filter=True, meta={'each_url': url})

第一部分主要获取,分类地址,以及分类的id     目的:一对多,一个分类下有很多小说,我们拿到这个分类主要是对应每个分类下的所有小说,这里没有使用外键

    def parse2(self, response):
        # 获取小说地址,目的所有小说详情信息
        books_list_url = response.xpath('//ul[@class="seeWell cf"]/li/a/@href').extract()
        for books_url in books_list_url:
            url = books_url
            yield scrapy.Request(url=url, callback=self.parse3, dont_filter=True, meta={'each_url': url})
        next_page = response.xpath('//a[@class="next"]/@href').extract_first()
        if next_page is not None:
            next_page = response.urljoin(next_page)

            yield scrapy.Request(next_page, callback=self.parse2)

第二部分,我们只获取了小说详情地址,因为我们不在这里拿小说信息

    def parse3(self, response):
        item = BooksItem()
        # 获取自己所需要的数据
        item['books_title'] = response.xpath("//div[@class='b-info']/h1/text()").extract_first()  # 名称

        item['books_author'] = response.xpath("//dl[@class='bookso']/dd/text()").extract_first()  # 作者

        item['books_status'] = response.xpath("//dl/dd/text()").extract_first()  # 状态

        books_introduce = response.xpath("//div[@id='waa']/text()").extract_first().split("介绍:")[-1].split(",")[0]  # 介绍
        item['books_introduce'] = books_introduce
        front_image_path = response.xpath("//a[@class='l mr11']/img/@src").extract_first()       # 图片地址
        # list = []
        # list.append(front_image_path)
        item['front_image_path'] = [front_image_path]
        item['books_classify_id'] = response.xpath("//div[@class='main-index']/a[2]/@href").extract_first().split("/")[-1].split("_")[-2]     #分类与小说关联id
        item['books_chapter_id'] = response.xpath("//div[@class='b-oper']/a[1]/@href").extract_first().split("/")[-1]  # 小说与章节关联id
        yield item
        section_list_url = response.xpath("//div[@class='b-oper']/a[1]/@href").extract()       # 章节列表地址
        for section_url in section_list_url:
            url = section_url
            yield scrapy.Request(url=url, callback=self.parse4, dont_filter=True, meta={'each_url': url})

第三部分,我们主要获取小说自己所需要的内容

    def parse4(self, response):
        # each_url = response.meta['each_url']
        # 获取每章节名称
        books_section_title = response.xpath("//div[@class='clearfix dirconone']/li/a/text()").extract()
        for section_title in books_section_title:
            chapter_title = section_title               # 获取章节

        books_content_list_url = response.xpath("//div[@class='clearfix dirconone']/li/a/@href").extract()
        for book_content_url in books_content_list_url:
            url = book_content_url
            books_content_id = url.split("/")[-1].split(".")[-2]                    # 获取小说章节对应内容章节

            yield scrapy.Request(url=url, callback=self.parse5, dont_filter=True, meta={'each_url': url})

第四部分: 主要是获取小说章节名称,以及内容地址

    def parse5(self, response):
        each_url = response.meta['each_url']
        books_content_id = each_url.split('/')[-1].split(".")[-2]               # 内容id对应小说章节
        books_content_list = response.xpath("//div[@class='mainContenr']/text()").extract()
        content = ""
        for books_content in books_content_list:
            content += books_content
            content = content

最后一部分: 主要获取小说内容

以上就是所有spider中所有代码, 最后会来个完整的

接下我们看一下settings.py配置

# -*- coding: utf-8 -*-

# Scrapy settings for books project
#
# For simplicity, this file contains only settings considered important or
# commonly used. You can find more settings consulting the documentation:
#
#     https://doc.scrapy.org/en/latest/topics/settings.html
#     https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
#     https://doc.scrapy.org/en/latest/topics/spider-middleware.html

import os
import sys

# sys.path.append(os.path.dirname(os.path.abspath('.')))
# os.environ['DJANGO_SETTINGS_MODULE'] = 'BooksAdmin.settings'

# import django
#
# django.setup()


BOT_NAME = 'books'

SPIDER_MODULES = ['books.spiders']
NEWSPIDER_MODULE = 'books.spiders'


# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'books (+http://www.yourdomain.com)'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

# Configure maximum concurrent requests performed by Scrapy (default: 16)
CONCURRENT_REQUESTS = 32

# Configure a delay for requests for the same website (default: 0)
# See https://doc.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
# DOWNLOAD_DELAY = 3
# The download delay setting will honor only one of:
#CONCURRENT_REQUESTS_PER_DOMAIN = 16
#CONCURRENT_REQUESTS_PER_IP = 16

# Disable cookies (enabled by default)
#COOKIES_ENABLED = False

# Disable Telnet Console (enabled by default)
#TELNETCONSOLE_ENABLED = False

# Override the default request headers:
# DEFAULT_REQUEST_HEADERS = {
#     'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
#     'Accept-Language': 'en',
#     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
# }

# Enable or disable spider middlewares
# See https://doc.scrapy.org/en/latest/topics/spider-middleware.html
#SPIDER_MIDDLEWARES = {
#    'books.middlewares.BooksSpiderMiddleware': 543,
#}

# Enable or disable downloader middlewares
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
# DOWNLOADER_MIDDLEWARES = {
#    'books.middlewares.BooksDownloaderMiddleware': 543,
# }

# Enable or disable extensions
# See https://doc.scrapy.org/en/latest/topics/extensions.html
#EXTENSIONS = {
#    'scrapy.extensions.telnet.TelnetConsole': None,
#}

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
    'books.pipelines.BooksPipeline': 300,
    'scrapy.pipelines.images.ImagesPipeline': 2,
    'books.pipelines.ArticleImagePipeline': 1,
}


IMAGES_URLS_FIELD = "front_image_path"        # image_url是在items.py中配置的网络爬取得图片地址
#配置保存本地的地址
project_dir = os.path.abspath(os.path.dirname(__file__))  #获取当前爬虫项目的绝对路径
IMAGES_STORE = os.path.join(project_dir, 'images')  #组装新的图片路径
IMAGES_MIN_HEIGHT = 100                 #设定下载图片的最小高度
IMAGES_MIN_WIDTH = 100                  #设定下载图片的最小宽度
IMAGES_EXPIRES = 90  #90天内抓取的都不会被重抓
# Enable and configure the AutoThrottle extension (disabled by default)
# See https://doc.scrapy.org/en/latest/topics/autothrottle.html
#AUTOTHROTTLE_ENABLED = True
# The initial download delay
#AUTOTHROTTLE_START_DELAY = 5
# The maximum download delay to be set in case of high latencies
#AUTOTHROTTLE_MAX_DELAY = 60
# The average number of requests Scrapy should be sending in parallel to
# each remote server
#AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0
# Enable showing throttling stats for every response received:
#AUTOTHROTTLE_DEBUG = False

# Enable and configure HTTP caching (disabled by default)
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-middleware-settings
HTTPCACHE_ENABLED = True
HTTPCACHE_EXPIRATION_SECS = 0
HTTPCACHE_DIR = 'httpcache'
HTTPCACHE_IGNORE_HTTP_CODES = []
HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'

都有注释

接着item.py

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class BooksItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    books_title = scrapy.Field()
    books_author = scrapy.Field()
    books_status = scrapy.Field()
    books_introduce = scrapy.Field()
    images_url = scrapy.Field()
    front_image_path = scrapy.Field()
    print("*****************************///", front_image_path)
    books_classify_id = scrapy.Field()
    books_chapter_id = scrapy.Field()
    pass

这里我写了小说信息,其他的跟这个一样

我们主要来看一下图片下载以及获取图片本地地址怎么获取

front_image_path = response.xpath("//a[@class='l mr11']/img/@src").extract_first()       # 图片地址
   
item['front_image_path'] = [front_image_path]

这是spider获取图片的代码,有两种写法,一种是上面这种,还有一种就是下面这种

front_image_path = response.xpath("//a[@class='l mr11']/img/@src").extract_first()       # 图片地址
list = []
list.append(front_image_path)
item['front_image_path'] = [list]

以上两种方法都可以,第一种比较简单

接下载我们看看settings.py怎么配置的

ITEM_PIPELINES = {
    'books.pipelines.BooksPipeline': 300,
    'scrapy.pipelines.images.ImagesPipeline': 2,
}


IMAGES_URLS_FIELD = "front_image_path"        # front_image_path是在items.py中配置的网络爬取得图片地址
#配置保存本地的地址
project_dir = os.path.abspath(os.path.dirname(__file__))  #获取当前爬虫项目的绝对路径
IMAGES_STORE = os.path.join(project_dir, 'images')  #组装新的图片路径
IMAGES_MIN_HEIGHT = 100                 #设定下载图片的最小高度
IMAGES_MIN_WIDTH = 100                  #设定下载图片的最小宽度
IMAGES_EXPIRES = 90  #90天内抓取的都不会被重抓

重点: IMAGES_URLS_FIELD = "front_image_path"        # front_image_path是在items.py中配置的网络爬取得图片地址一致

#配置保存本地的地址
project_dir = os.path.abspath(os.path.dirname(__file__))  #获取当前爬虫项目的绝对路径
IMAGES_STORE = os.path.join(project_dir, 'images')  #组装新的图片路径

以上配置图片下载就没问题了,scrapy crawl book运行看一下

最后一个重点:  我们获取本地图片的地址,我们要重写pipeline

pipelines.py

#既然要重写，记得提前引入
from scrapy.pipelines.images import ImagesPipeline

# 重载ImagePipeline中的item_completed方法，获取下载地址
class ArticleImagePipeline(ImagesPipeline):        
    def item_completed(self, results, item, info):
        for ok, value in results:        #通过断点可以看到图片路径存在results内
            images_url = value['path']                #将路径保存在item中返回
            item['images_url'] = images_url
        return item

最后在items.py中会有一个

images_url = scrapy.Field()

注: 一定要在settings.py中设置

'books.pipelines.ArticleImagePipeline': 1,

不然获取不到

完整代码

spider.py

# -*- coding: utf-8 -*-
import scrapy
from ..items import BooksItem


class BookSpider(scrapy.Spider):
    name = 'book'
    allowed_domains = ['quanshuwang.com']
    start_urls = ['http://www.quanshuwang.com']

    def __init__(self):
        self.count = 0

    def parse(self, response):
        # 获取所有分类地址,目的所有分类下的所有小说
        classify_list_title = response.xpath("//nav[@class='channel-nav']//li/a/text()").extract()[:-1]
        for classify_title in classify_list_title:
            classify_title = classify_title                  # 获取分类名称
        classify_list_url = response.xpath("//nav[@class='channel-nav']//li/a/@href").extract()[:-1]
        for classify_url in classify_list_url:
            url = classify_url
            books_id = url.split("/")[-1].split("_")[-2]                  # 获取分类id，目的关联每部小说对应的分类
            yield scrapy.Request(url=url, callback=self.parse2, dont_filter=True, meta={'each_url': url})

    def parse2(self, response):
        # 获取小说地址,目的所有小说详情信息
        books_list_url = response.xpath('//ul[@class="seeWell cf"]/li/a/@href').extract()
        for books_url in books_list_url:
            url = books_url
            yield scrapy.Request(url=url, callback=self.parse3, dont_filter=True, meta={'each_url': url})
        next_page = response.xpath('//a[@class="next"]/@href').extract_first()
        if next_page is not None:
            next_page = response.urljoin(next_page)

            yield scrapy.Request(next_page, callback=self.parse2)

    def parse3(self, response):
        item = BooksItem()
        # 获取自己所需要的数据
        item['books_title'] = response.xpath("//div[@class='b-info']/h1/text()").extract_first()  # 名称

        item['books_author'] = response.xpath("//dl[@class='bookso']/dd/text()").extract_first()  # 作者

        item['books_status'] = response.xpath("//dl/dd/text()").extract_first()  # 状态

        books_introduce = response.xpath("//div[@id='waa']/text()").extract_first().split("介绍:")[-1].split(",")[0]  # 介绍
        item['books_introduce'] = books_introduce
        front_image_path = response.xpath("//a[@class='l mr11']/img/@src").extract_first()       # 图片地址
        # list = []
        # list.append(front_image_path)
        item['front_image_path'] = [front_image_path]
        item['books_classify_id'] = response.xpath("//div[@class='main-index']/a[2]/@href").extract_first().split("/")[-1].split("_")[-2]     #分类与小说关联id
        item['books_chapter_id'] = response.xpath("//div[@class='b-oper']/a[1]/@href").extract_first().split("/")[-1]  # 小说与章节关联id
        yield item
        section_list_url = response.xpath("//div[@class='b-oper']/a[1]/@href").extract()       # 章节列表地址
        for section_url in section_list_url:
            url = section_url
            yield scrapy.Request(url=url, callback=self.parse4, dont_filter=True, meta={'each_url': url})

    def parse4(self, response):
        # each_url = response.meta['each_url']
        # 获取每章节名称
        books_section_title = response.xpath("//div[@class='clearfix dirconone']/li/a/text()").extract()
        for section_title in books_section_title:
            chapter_title = section_title               # 获取章节

        books_content_list_url = response.xpath("//div[@class='clearfix dirconone']/li/a/@href").extract()
        for book_content_url in books_content_list_url:
            url = book_content_url
            books_content_id = url.split("/")[-1].split(".")[-2]                    # 获取小说章节对应内容章节

            yield scrapy.Request(url=url, callback=self.parse5, dont_filter=True, meta={'each_url': url})

    def parse5(self, response):
        each_url = response.meta['each_url']
        books_content_id = each_url.split('/')[-1].split(".")[-2]               # 内容id对应小说章节
        books_content_list = response.xpath("//div[@class='mainContenr']/text()").extract()
        content = ""
        for books_content in books_content_list:
            content += books_content
            content = content

settings.py

# -*- coding: utf-8 -*-

# Scrapy settings for books project
#
# For simplicity, this file contains only settings considered important or
# commonly used. You can find more settings consulting the documentation:
#
#     https://doc.scrapy.org/en/latest/topics/settings.html
#     https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
#     https://doc.scrapy.org/en/latest/topics/spider-middleware.html

import os
import sys

# sys.path.append(os.path.dirname(os.path.abspath('.')))
# os.environ['DJANGO_SETTINGS_MODULE'] = 'BooksAdmin.settings'

# import django
#
# django.setup()


BOT_NAME = 'books'

SPIDER_MODULES = ['books.spiders']
NEWSPIDER_MODULE = 'books.spiders'


# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'books (+http://www.yourdomain.com)'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

# Configure maximum concurrent requests performed by Scrapy (default: 16)
CONCURRENT_REQUESTS = 32

# Configure a delay for requests for the same website (default: 0)
# See https://doc.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
# DOWNLOAD_DELAY = 3
# The download delay setting will honor only one of:
#CONCURRENT_REQUESTS_PER_DOMAIN = 16
#CONCURRENT_REQUESTS_PER_IP = 16

# Disable cookies (enabled by default)
#COOKIES_ENABLED = False

# Disable Telnet Console (enabled by default)
#TELNETCONSOLE_ENABLED = False

# Override the default request headers:
# DEFAULT_REQUEST_HEADERS = {
#     'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
#     'Accept-Language': 'en',
#     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
# }

# Enable or disable spider middlewares
# See https://doc.scrapy.org/en/latest/topics/spider-middleware.html
#SPIDER_MIDDLEWARES = {
#    'books.middlewares.BooksSpiderMiddleware': 543,
#}

# Enable or disable downloader middlewares
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
# DOWNLOADER_MIDDLEWARES = {
#    'books.middlewares.BooksDownloaderMiddleware': 543,
# }

# Enable or disable extensions
# See https://doc.scrapy.org/en/latest/topics/extensions.html
#EXTENSIONS = {
#    'scrapy.extensions.telnet.TelnetConsole': None,
#}

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
    'books.pipelines.BooksPipeline': 300,
    'scrapy.pipelines.images.ImagesPipeline': 2,
    'books.pipelines.ArticleImagePipeline': 1,
}


IMAGES_URLS_FIELD = "front_image_path"        # front_image_path是在items.py中配置的网络爬取得图片地址
#配置保存本地的地址
project_dir = os.path.abspath(os.path.dirname(__file__))  #获取当前爬虫项目的绝对路径
IMAGES_STORE = os.path.join(project_dir, 'images')  #组装新的图片路径
IMAGES_MIN_HEIGHT = 100                 #设定下载图片的最小高度
IMAGES_MIN_WIDTH = 100                  #设定下载图片的最小宽度
IMAGES_EXPIRES = 90  #90天内抓取的都不会被重抓
# Enable and configure the AutoThrottle extension (disabled by default)
# See https://doc.scrapy.org/en/latest/topics/autothrottle.html
#AUTOTHROTTLE_ENABLED = True
# The initial download delay
#AUTOTHROTTLE_START_DELAY = 5
# The maximum download delay to be set in case of high latencies
#AUTOTHROTTLE_MAX_DELAY = 60
# The average number of requests Scrapy should be sending in parallel to
# each remote server
#AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0
# Enable showing throttling stats for every response received:
#AUTOTHROTTLE_DEBUG = False

# Enable and configure HTTP caching (disabled by default)
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-middleware-settings
HTTPCACHE_ENABLED = True
HTTPCACHE_EXPIRATION_SECS = 0
HTTPCACHE_DIR = 'httpcache'
HTTPCACHE_IGNORE_HTTP_CODES = []
HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'

items.py

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class BooksItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    books_title = scrapy.Field()
    books_author = scrapy.Field()
    books_status = scrapy.Field()
    books_introduce = scrapy.Field()
    images_url = scrapy.Field()
    front_image_path = scrapy.Field()
    print("*****************************///", front_image_path)
    books_classify_id = scrapy.Field()
    books_chapter_id = scrapy.Field()
    pass

pipelines.py

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
#既然要重写，记得提前引入
from scrapy.pipelines.images import ImagesPipeline


class BooksPipeline(object):
    def process_item(self, item, spider):
        # print('打开数据库')
        # item.save()  # 数据将会自动添加到指定的表
        # print('关闭数据库')
        return item


class ArticleImagePipeline(ImagesPipeline):
    def item_completed(self, results, item, info):
        for ok, value in results:
            images_url = value['path']
            item['images_url'] = images_url
        return item

以上就是所有代码

给大家看一下项目结构吧

运行结果

青衫折扇
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
使用SCRAPY框架爬取小说网站
weixin_51221760的博客
09-01 820
scrapy 小说 爬取
python scrapy框架基如何实现多线程_python爬虫 scrapy爬虫框架的基本使用
weixin_39946300的博客
11-26 1107
文章目录一、scrapy爬虫框架介绍在编写爬虫的时候，如果我们使用 requests、aiohttp 等库，需要从头至尾把爬虫完整地实现一遍，比如说异常处理、爬取调度等，如果写的多了，的确会比较麻烦。利用现有的爬虫框架，可以提高编写爬虫的效率，而说到 Python 的爬虫框架，Scrapy 当之无愧是最流行最强大的爬虫框架了。scrapy介绍Scrapy 是一个基于 Twisted 的异步处理框架...
scrapy爬虫系列之三--爬取图片保存到本地
weixin_30954265的博客
03-28 290
功能点：如何爬取图片，并保存到本地 爬取网站：斗鱼主播 完整代码：https://files.cnblogs.com/files/bookwed/Douyu.zip 主要代码： douyu.py import scrapy import json from Douyu.items import DouyuItem class DouyuSpider(scrapy.Spide...
利用Scrapy爬虫分析小说网站的数据
最新发布
Ob2024的博客
06-26 526
在爬取小说的章节内容时，主要是获取每本小说的章节目录，并将章节目录中的内容按照顺序拼接在一起。在“笔趣阁”网站中，每本小说的章节目录都有一个对应的URL，因此只需要获取每本小说的章节目录URL，然后逐一获取章节内容即可。小说列表是指小说的分类、名称、作者、状态等信息。在“笔趣阁”网站中，每一类小说都有一个对应的子页面，因此在爬取小说列表时，先爬取小说分类的URL，然后在遍历分类页面，获取每本小说的信息。在该网站中，小说内容通过章节来组织，因此需要自动爬取小说章节内容，并且可以按照小说分类进行数据的筛选。
使用Scrapy爬取图片入库,并保存在本地
akvu10582的博客
06-27 915
使用Scrapy爬取图片入库,并保存在本地 上 篇博客已经简单的介绍了爬取数据流程,现在让我们继续学习scrapy 目标: 爬取爱卡汽车标题,价格以及图片存入数据库,并存图到本地 好了不多说,让我们实现下效果 我们仍用scrapy框架来编写我们的项目: 1.首先用命令创建一个爬虫项目(结合上篇博客),并到你的项目里如图所示 ...
Scrapy框架之利用ImagesPipeline下载图片
weixin_33860722的博客
05-29 828
1.ImagesPipeline简介 Scrapy用ImagesPipeline类提供一种方便的方式来下载和存储图片。 特点： 将下载图片转换成通用的JPG和RGB格式 避免重复下载 缩略图生成 图片大小过滤 2.ImagesPipeline工作流程 当使用图片管道 ImagePipeline,典型的工作流程如下: 在一个爬虫里,你抓取一个项目,把其中图片的URL放入image_urls组...
爬取网络图片并保存到本地_scrapy 抓取图片保存本地
weixin_39853523的博客
12-13 237
前言：安装抓取图片库pillowpip install pillow调试xpath可以用命令scrapy shell url准备工作：1、创建项目，叫做tutorial具体方式可看官网：https://docs.scrapy.org/en/latest/intro/tutorial.htmlscrapy startproject tutorial2、https://3dtotal.com/gall...
scrapy框架
Green_F的博客
12-21 420
初识 scrapy Scrapy是一个使用Python语言（基于Twisted框架）编写的开源网络爬虫框架，目前由Scrapinghub Ltd维护。Scrapy简单易用、灵活易拓展、开发社区活跃，并且是跨平台的。在Linux、 MaxOS以及Windows平台都可以使用。 1. Scrapy 简介 1.1 网络爬虫 网络爬虫是指在互联网上自动爬取网站内容信息的程序，也被称作网络蜘蛛或网络机器人。大型的爬虫程序被广泛应用于搜索引擎、数据挖掘等领域，个人用户或企业也可以利用爬虫收集对自身有价值的数据。 一个网
爬虫框架Scrapy（1）Scrapy框架安装与项目开发
Python达人
03-23 1267
文章目录一. Scrapy框架简介1. Scrapy 框架介绍2. 数据处理流程二. Scrapy 及其依赖库的安装三. Scrapy 项目开发流程1. 常用命令2. 创建 Scrapy 项目3. 创建 Spider4. 创建 Item5. 解析 Response6. 使用 Item7. 后续 Request（1）继承 Scrapy.spider（2）为 Spider 命名（3）设定起始爬取点（4）实现页面解析函数8. 运行9. 保存到文件四. 实例——爬取书籍信息1. 创建项目2. 创建爬虫3. 解析 R
爬虫Scrapy笔记
Zikade0627的博客
03-13 1687
爬虫
干货！一文教会你 Scrapy 爬虫框架的基本使用
Python数据之道
10-24 588
出品：Python数据之道 (ID:PyDataLab)作者：叶庭云编辑：Lemon一、scrapy 爬虫框架介绍在编写爬虫的时候，如果我们使用 requests、aiohttp 等...
爬虫入门（四）——Scrapy框架入门：使用Scrapy框架爬取全书网小说数据
weixin_30617737的博客
04-22 369
为了入门scrapy框架，昨天写了一个爬取静态小说网站的小程序 下面我们尝试爬取全书网中网游动漫类小说的书籍信息。 一、准备阶段 明确一下爬虫页面分析的思路： 对于书籍列表页：我们需要知道打开单本书籍的地址、以及获取点开下一页书籍列表页的链接 对于书籍信息页面，我们需要找到提取：（书名、作者、书本简介、书本连载状态）这四点信息 爬虫流程：书籍列表页中点开一本书→提取每一本书的书籍信...
使用scrapy爬取小说网站（一）
mumu_817的博客
07-16 1828
一、配置scrapy环境 1.安装scrapy依赖包：Twisted。 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted（找到与python版本对应的Twisted版本） 2.安装scrapy 使用pip install scrapy 3.安装pypiwin32 这里！如果不安装的话运行scrapy会报错。 二、采集任务分析 爬...
Scrapy实战（爬取图片并保存在本地）
qq_36034503的博客
10-18 6183
学习了Scrapy，那就先爬点图片看看。 首先明确目标，要爬取什么？ 我们爬取“孔夫子旧书网”所有书籍的图片及信息 上面标注的就是我们要爬取的信息，确定了目标，就可以编写items.py import scrapy class MyscrapyItem(scrapy.Item): # 普通字段 title = scrapy.Field() author = scrapy.Field() time = scrapy.Field() ...
scrapy两种方法爬取网站小说
逆向
05-29 2293
第一种，使用spider爬取 首先选择一个初始的小说链接，例如小说第一章的链接https://www.zwdu.com/book/11029/2297440.html 我爬去的是这个网站，链接中的小说 首先，创建一个项目 scrapy startproject novel 创建spider scrapy genspider spider https://www.zwdu.com/book/1102...
Scrapy(1) 爬取起点中文网小说，并保存到数据库
Tacit_zfy99的博客
07-04 2950
爬取起点中文网小说 Scrapy框架结构 引擎（ENGINE） 调度器（SCHEDULER） 下载器（DOWNLOADER） 爬虫（SPIDERS） 项目管道（ITEM PIPELINES） 下载器中间件（Downloader Middlewares） 爬虫中间件（Spider Middlewares） 需求分析 目标网站 https://www.qidian.com/rank/hotsales?style=1&page=1 提取内容为：小说名称、作者、类型和形式 项目 创建项目，在命令
Scrapy——將爬取圖片下載到本地
aierxin8142的博客
08-12 118
1. Spider程序： 　　 1 import scrapy, json 2 from UnsplashImageSpider.items import ImageItem 3 4 class UnsplashImageSpider(scrapy.Spider): 5 # 定义Spider的名称 6 name = 'unsplash_im...
Scrapy爬取起点中文网小说信息 绝对领域cosplay
rmxob的博客
09-12 523
scrapy基本指令 创建项目指令 scrapy startproject name 创建爬虫指令 scrapy genspider pcname XX.com 启动爬虫指令 scrapy crawl pcname 调试爬虫指令 scrapy shell url or scrapy shell 加url response会自动下载下来url内容，打开shell。 不加不下载，可以在其中用 fetch(url) 下载 Response类 属性相关 body 响应的字节数据 text
利用Scrapy爬取cosplay图片并保存至本地
本篇文章主要介绍了如何使用Scrapy框架爬取cosplay图片并将其保存到本地文件夹的过程。Scrapy是一个强大的Python爬虫框架，适合进行高效的数据抓取。以下是详细的步骤和关键知识点： 1. **新建Scrapy项目**： 首先...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值