Scrapy翻页爬取示例——列表页、详情页
Scrapy翻页爬取示例——列表页、详情页引言: 本人最近在帮助同事们爬取一批英—泰双语数据,顺带复习了一下scrapy爬虫相关的知识。下面以简单的小项目为例,一起来开始吧!示例一:爬取列表页本文以这个网站为例:https://engoo.co.th/app/words/list/en/a网站首页如图:向下翻会看到翻页的小图标:假如我们要获取1-17页该页面上所有的字符串,如下所示:应该如何做?先给出代码(仅逻辑实现部分): def parse(self, response):
原创
2021-03-12 15:54:13 ·
5266 阅读 ·
0 评论