爬虫学习笔记(一):爬取书籍信息

本文是爬虫学习笔记的第一部分,详细介绍了如何使用Scrapy爬取一个练习网站上的书籍信息,包括创建项目、页面分析、实现Spider以及运行爬虫并将数据保存到csv文件的过程。
摘要由CSDN通过智能技术生成

爬取爬虫练习网站的书籍信息

专门供爬虫初学者训练爬虫技术的网站(http://books.toscrape.com)

我使用的浏览器是Google Chrome浏览器

1. 创建项目

首先,我们要创建一个Scrapy项目,在shell中使用scrapy startproject命令:

$ scrapy startproject Spider_name

创建成功:
在这里插入图片描述

2. 分析页面

网站首页如下图所示:
在这里插入图片描述
接着将鼠标停在第一本书的图片上,点击鼠标右键,再选择“检查”。
或者按下F12键。显示如下信息:

可以看到,每一本书的信息包裹在< article class=“product_pod”>元素 中:
书名信息在其下h3 > a元素的title属性中,如< a href="catalogue/a-light- in-the-attic_1000/index.html"title=“A Light in the Attic”>A Light in the…< /a >; 书价信息在其下< p class=“price_c

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值