Scrapy入门-爬取books.toscrape.com

最新推荐文章于 2023-12-23 12:35:18 发布
最新推荐文章于 2023-12-23 12:35:18 发布
阅读量1.9k 收藏 13
点赞数 2
分类专栏： Python爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/alittlehorse/article/details/105153057
版权
  1. 创建项目与爬虫
    在这里插入图片描述
  2. 查看网页源码并分析
  • 分析须爬取内容
  • 内容位于网页中的位置
  1. 封装Item
    根据分析需要爬取内容建立Item对象
    在这里插入图片描述
  2. 查看内容位于网页中的位置，并用scrapy shell测试是否能正常获取所需要的值
    在这里插入图片描述
    获取成功 LinkExtractor方法可以成功获取链接
    在这里插入图片描述
  3. 以此方法建立解析函数 prase
    在这里插入图片描述
  4. 根据第二、第三点步骤分析得出单一书本页面需爬取内容与页面位置
    如：
    书名
    在这里插入图片描述
    评价等级
    在这里插入图片描述
    再次进入shell中测试
    在这里插入图片描述
  5. 根据一切方法匹配到值
    在这里插入图片描述
    别忘记将Item yield出去
yield book
  1. 此时，一页中所有书本链接与一本书中的获取值已实现
    需实现下一页跳转方法
    实现思路：获取下一页url（网页拼接urljoin()方法或者LinkExtractor）→ callback返回实现跳转
    在这里插入图片描述
  2. 建立主函数运行并输出结果
    在这里插入图片描述
    结果：（success）
    在这里插入图片描述
mapyking
关注
  • 2
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用Scrapy爬虫框架爬取books.toscrape.com上书籍的相关信息并存储为csv文件
Giyn
02-28 3288
此处准备使用Scrapy爬虫框架对 http://books.toscrape.com/（一个专门用来被爬取的网站）上书籍的相关信息进行爬取。 相关信息包括：书名、价格、评价等级、产品编码、库存量、评价数量。 首先我们分析一下网页页面： 这里补充一下，分析网页页面虽然可以直接进入网页，然后F12打开开发者工具进行分析。 但通常现在的浏览器都会对html文本进行一定的规范化, 所以在使用Chro...
规范进行一个爬虫项目【经验分享：参考教学书籍，爬取books.toscrape.com上的书籍信息】
RonnyChan的博客
08-13 2752
如何规范开始一个python爬虫？传送门：https://blog.csdn.net/GBA_Eagle/article/details/81611348 教学书籍：《精通Scrapy网络爬虫》 项目需求： 爬取http://books.toscrape.com网站中的书籍信息。 （1）信息包括： 书名、价格、评价等级、产品编码、库存量、评价数量。 （2）将爬取结果保存到csv文件中。...
【Scrapy爬虫项目】爬取books.toscrape.com上书籍的相关信息并存储为csv文件
01-21
此处准备使用Scrapy爬虫框架对 http://books.toscrape.com/（一个专门用来被爬取的网站）上书籍的相关信息进行爬取。 相关信息包括：书名、价格、评价等级、库存量、产品编码、评价数量。 首先进行页面分析： 这里补充一下，通常现在的浏览器都会对html文本进行一定的规范化, 所以在使用Chrome等浏览器自带的XPath路径的时候, 有可能会导致读取失败。 虽然很多时候用view命令加载出的页面和浏览器打开的是一样的，但是前者是Scrapy爬虫下载的页面，后者是由浏览器下载的页面，有时它们是不同的。 在进行页面分析时，使用view命令更加可靠： 在命令提示符窗口输入 s
Scrapy爬取books.toscrape.com使用ProxyPool代理池示例和使用Splash爬取动态网页quotes.toscrape.com示例
最新发布
Hi文的博客
12-23 138
根据教程指导操作ProxyPool和代码。
Python的网络爬虫框架-Scrapy爬虫框架的使用
精益求精，永无止境，永远在路上！
07-10 1381
大家好我是小菜鸡，让我们一起学习Python的网络爬虫框架-Scrapy爬虫框架的使用（一起努力，咱们顶峰相见！！！）
Scrapy爬取books.toscrape.com使用ProxyPool代理池示例
12-23
在这个示例中，我们将探讨如何在Scrapy项目中集成ProxyPool，以在爬取books.toscrape.com这个网站时实现IP的轮换。 首先，我们需要了解`proxy_pool`。这是一个代理服务器的集合，可以动态地提供可用的代理IP供爬虫...
Python库 | nimbus_scrapy-3.1.4-py2.py3-none-any.whl
02-27
python库。 资源全名：nimbus_scrapy-3.1.4-py2.py3-none-any.whl
Scrapy-2.3.0-py2.py3-none-any.whl
09-05
Scrapy-2.3.0-py2.py3-none-any.whl 安装Scrapy所需要的资源，安装命令：pip target 本地资源路径
Scrapy爬取toscrape.com书籍名称，价格
WWW54111392的博客
07-17 497
项目名称：mybooks 项目URL：books.toscrape.com 项目需求： 　　1.书籍名称 　　2.价格 　　3.保存在Excel表格中 第一步：在shell中创建scrapy项目 scrapy startproject mybooks 第二步：创建spider文件 　　进入刚刚创建的项目目录，mybooks/mybooks/，在这里创建一个spi...
Scrapy爬取网站：Quotes to Scrape
10-17
这是一个scrapy官方提供的网站：http://quotes.toscrape.com/ ，网页很简单，麻雀虽小五脏俱全。就用这个网站详细演示下Scrapy基础使用方法。参见博客：https://blog.csdn.net/qq_42776455/article/details/83116164
利用Requests爬取图书信息
limenghao2002的博客
11-19 972
import requests import json from openpyxl import Workbook, load_workbook url = "https://www.ptpress.com.cn/recommendBook/getRecommendBookListForPortal?bookTagId=2725fe7b-b2c2-4769-8f6f" \ "-c95f04c70275" headers = { "bookTagId": "2725fe7b-b2c2.
利用scrapy爬虫框架爬取书目信息
weixin_43153217的博客
08-26 796
笔者是python3.6+pycharm的环境 爬取书目的网址是：http://books.toscrape.com 该网站是专门提供给爬虫初学者爬取的网站。 安装scrapy：任何系统都可以使用pip安装scrapy框架 >pip install scrapy #安装成功后查看版本信息 >scrapy version Scrapy 1.5.1 #笔者的scrapy版本是1.5....
Python Scrapy趣味爬虫
jjqqyydwqscacsa的博客
02-21 677
Scrapy爬虫Section1 了解更多爬虫知识，点击访问我的博客！！！ 认识Scrapy爬虫 网络爬虫是指在互联网上自动爬取网站内容信息的程序，也被称作网络蜘蛛或网络机器人。大型的爬虫程序被广泛应用于搜索引擎、数据挖掘等领域，个人用户或企业也可以利用爬虫收集对自身有价值的数据。 网络爬虫的基本执行流程 下载页面 一个网页的内容本质上就是一个HTML文本，爬取一个网页内容之前，首先要根据网页的URL下载网页。 提取页面数据 当一个网页（HTML）下载完成后，对页面中的内容进行分析，并提取出
浅谈scrapebook的使用
育航家技术学习专栏
04-02 1531
浅谈scrapebook的使用
爬虫学习笔记（一）：爬取书籍信息
二浩的博客
08-27 1550
爬取爬虫练习网站的书籍信息 专门供爬虫初学者训练爬虫技术的网站（http://books.toscrape.com） 我使用的浏览器是Google Chrome浏览器 1. 创建项目 首先，我们要创建一个Scrapy项目，在shell中使用scrapy startproject命令： $ scrapy startproject Spider_name 创建成功： 2. 分析页面 网站首页如下图...
02 练习爬取网上书店
qq_40678779的博客
07-02 2010
# Author:Nimo_Ding ''' 第一个练习： 题目要求： 你需要爬取的是网上书店Books to Scrape中所有书的分类类型，并且将它们打印出来。 它的位置就在网页的左侧，如：Travel，Mystery，Historical Fiction…等。 http://books.toscrape.com/ ''' import requests from bs4 import BeautifulSoup html=requests.get('http://books.toscrape.c.
request爬取小说内容
qq_41721166的博客
01-11 301
#request爬取小说内容 import re import requests import os bookURL='https://www.xs4.cc/0_193/' #书的地址 booksite=requests.get(bookURL)#获取书的网页 booksite.encoding='gbk' book_name=re.findall('<h1>(.*?)</h1>',booksite.text)[0]#获取书名 if not os.path.exists(f'd:/{
【学习】python爬虫简单例子
weixin_43196262的博客
02-25 964
python搭建爬虫思维流程图 发送URL请求 response对象=request.get(URL) 提取文本 res=response对象.text html文件字符串解析 BS对象=BeautifulSoup（字符串, ‘html.parser’） find() 或 find_all() 函数返回所爬内容 遍历提取数据 练习1 爬取的是网上书店Books to Scrape中所有书的分...
使用 scrapy 框架爬取www.runoob.com网页图片
05-31
可以使用 Scrapy 框架和 XPath 选择器来爬取 www.runoob.com 网页图片，具体步骤如下： 1. 创建 Scrapy 项目并定义 Item 在命令行中输入以下命令，创建一个名为 `runoob` 的 Scrapy 项目： ``` scrapy startproject runoob ``` 然后在 `runoob` 项目文件夹下的 `items.py` 文件中定义 `RunoobItem`，用于存储爬取到的图片信息： ```python import scrapy class RunoobItem(scrapy.Item): image_urls = scrapy.Field() images = scrapy.Field() ``` 2. 创建 Spider 并编写爬虫逻辑 在 `runoob` 项目文件夹下的 `spiders` 文件夹中创建名为 `image_spider.py` 的文件，并编写如下代码： ```python import scrapy from runoob.items import RunoobItem class ImageSpider(scrapy.Spider): name = 'image_spider' allowed_domains = ['www.runoob.com'] start_urls = ['https://www.runoob.com/'] def parse(self, response): item = RunoobItem() # 提取所有图片链接 item['image_urls'] = response.xpath('//img/@src').extract() yield item ``` 在 `ImageSpider` 中，我们首先定义了爬虫的名称 `name`、允许爬取的域名 `allowed_domains` 和起始爬取的 URL 列表 `start_urls`。然后在 `parse` 方法中使用 XPath 选择器提取页面中所有的图片链接，并将其存储到 `item` 中。最后使用 `yield` 将 `item` 传递给 Scrapy 引擎。 3. 配置 Scrapy Pipeline 在 `runoob` 项目文件夹下的 `settings.py` 文件中，添加如下配置： ```python ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} IMAGES_STORE = 'images/' ``` 在这里我们使用 Scrapy 内置的 `ImagesPipeline` 来下载图片，并将下载的图片保存到 `images/` 目录下。 4. 运行爬虫 在命令行中进入 `runoob` 项目文件夹，输入以下命令启动爬虫： ``` scrapy crawl image_spider ``` Scrapy 就会自动爬取 www.runoob.com 页面中的所有图片，并将其下载到 `images/full/` 目录下。 注意：如果运行过程中出现错误，可以尝试安装 Pillow 库（用于处理图片），并重启命令行窗口再次运行爬虫： ``` pip install Pillow ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值