Scrapy爬虫框架的应用丨Python爬虫实战系列(9)

📃个人主页：互联网阿星🧐
💬格言：选择有时候会大于努力，但你不努力就没得选
🔥作者简介：大家好我是互联网阿星，和我一起合理使用Python，努力做时间的主人
🏆如果觉得博主的文章还不错的话，请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞

行业资料：PPT模板、简历模板、行业经典书籍PDF
面试题库：历年经典、热乎的大厂面试真题，持续更新中…
学习资料：含Python基础、爬虫、数据分析、算法等学习视频和文档
Tips：以上资料·阿星已备好>>戳我，空投直达🪂

---

---

前言

本节，阿星将使用Scrapy获取zcool数据作为示例

Scrapy爬虫框架的应用

案例说明

通过Python爬虫基础入门，我们已经初步了解了scrapy的工作流程以及原理。

1. imgLink(封面图片链接)；
2. title(标题）;
3. types（类型）;
4. vistor（人气）;
5. comment（评论数）;
6. likes（推荐人数）

然后只是一个页面的item，我们还要通过翻页实现批量数据采集。

文件配置

目录结构

在上一篇中我们说明了新建scrapy项目（zcool）和spider项目（zc），这里不再赘述，然后得到我们的目录结构如下图所示：

start.py文件

然后为了方便运行，在zcool目录下新建start文件。并进行初始化设置。

from scrapy import cmdline
cmdline.execute('scrapy crawl zc'.split())

settings.py文件

在这个文件里我们需要做几样设置👇

避免在程序运行的时候打印log日志信息

  LOG_LEVEL = 'WARNING' 
 ROBOTSTXT_OBEY = False 

添加请求头：

打开管道：

item.py文件

import scra