本文记录了使用Scrapy框架爬取天涯论坛评论中的所有邮箱的步骤，包括创建Scrapy工程、生成爬虫、定义爬取目标、编写爬取逻辑以及设置存储爬取内容的管道。通过运行start.py文件，可以将结果以JSON、CSV或XML格式保存。
爬取目标：爬取某论坛评论中的所有邮箱
首先，创建Scrapy工程和项目
在cmd命令中输入如下命令：
scrapy startproject tianya（工程名）
scrapy genspider mytianya "bbs.tianya.cn"(生成mytianya.py文件)(爬取的域名范围)
在工程目录下生成一个start.py文件，方便程序的运行，并编写一下内容在文件中
import scrapy.cmdline
scrapy.cmdline.execute(['scrapy','crawl','mytianya'])使用效果等同于在cmd中输入命令：
最低0.47元/天 解锁文章
扫一扫
1003
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
