利用scrapy爬取需要登录的网站的数据（包含验证码的处理）

利用scrapy爬取需要登录的网站的数据（包含验证码的处理）–以爬取豆瓣网数据为例

1、在cmd命令行中输入 scrapy startproject douban，创建scrapy爬虫项目 
2、在cmd命令行中调整到douban项目文件夹下输入 scrapy genspider -t basic db douban.com（最后一个是网站域名）创建名为db的爬虫（如果是创建自动爬虫要输入-t crawl ） 
3、在items.py中创建属性title和note，这是我们接下来要爬取的网站的数据，即标题和日志 
4、在db.py中进行爬虫方法的部署，代码和注释如下图： 

 

5、在命令行中输入：scrapy crawl db即可爬取数据了 
这是我的第一个博客，希望有相似兴趣的可以多和我交流一起学习啊！ 
- Markdown和扩展Markdown简洁的语法 
- 代码块高亮 
- 图片链接和图片上传 
- LaTex数学公式 
- UML序列图和流程图 
- 离线写博客 
- 导入导出Markdown文件 
- 丰富的快捷键