本文介绍了如何使用Scrapy框架爬取当当网的畅销图书信息，并将其保存为CSV文件。首先，创建Scrapy项目，接着编写爬虫代码并修改settings.py文件设置请求头和爬虫协议。然后，定义item参数，通过main.py运行爬虫。最后，通过三行代码将爬取数据保存为CSV，整个过程包括可能出现的问题及调试方法。
、
初步了解scrapy框架爬虫的使用。
前言：
需要安装一下第三方库 在win下 pip install scrapy pip install bs4 在mac下把pip改成pip3即可
一、创建scrapy项目
在cmd运行里输入（随便找个盘） scrapy startproject dangdang
如上图创建成功，接下来在编译器中打开文件
这些文件都是自动生成的 来解释说明一下部分文件
二、代码实现——编辑爬虫
——1.
接下来创建爬虫项目book.py(注意在spiders文件夹下创建)
最低0.47元/天 解锁文章
扫一扫
1735
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
