本次实验旨在爬取Curlie网站的健康目录及其下属所有站点资源，包括标题、网址和摘要。使用Python 3.6.1和Scrapy 1.5.0作为采集工具。首先，创建Scrapy项目并爬取health页面的站点信息。然后，递归遍历health目录，处理爬虫过程中遇到的错误，如缺少request模块导入。最终，成功获取到大部分目录及数据，但最后一级目录因存在空格等问题未能完全抓取。爬取结果已得到部分数据。
一、实验目标
爬取curlie中health的目录及其收录网站资源，网站的字段包括标题、网址、摘要。
All Sites
二、采集工具
python 3.6.1
scrapy 1.5.0
三、采集过程
1.爬取health页面下的sites
建立scrapy项目，爬取curlie网站health页面的sites，爬取sites的标题、链接和摘要。所以先修改items.py文件。
爬取health页面的sites，限制爬虫爬取范围和seeds
运行爬虫后，爬取成功
2.遍历health目录
爬取成功后，分析到health下子目录页面布局和health页面布局相同，所以打算递归遍历整个health目录，每个页面执行sites爬取操
最低0.47元/天 解锁文章
扫一扫
3776
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
