python爬虫
Raymond&yin
Learn to Code.
展开
-
scrapy middlewares process_request/response不同返回值的分析
最近学习scrapy爬虫框架,领略到中间件的强大作用,随机设置UA、设置代理、对接selenium等,但是对于process_request以及process_response的返回值和他们的作用不是很理解,网上的解释也十分笼统,如下截屏:今天我做了一个相关的测试,详细看看不同返回值scrapy是如何处理的。主函数如下:process_request- 返回None代码如下:...原创 2020-05-05 19:53:54 · 3677 阅读 · 5 评论 -
Scrapy爬取世界五百强榜单数据 + Mysql存储(小白入门)
准备工作:安装了python3.7 pycharm编辑环境、Mysql数据库及scrapy相关库,熟悉xpath的用法,掌握Mysql数据库相关知识。创建scrapy项目和spider类打开cmd,敲scrapy startproject world500最后面world500是项目的名称,可随意替换。接着cd world500进去刚刚创建的文件夹里面,敲scrapy genspider d...原创 2020-04-21 17:25:08 · 1522 阅读 · 2 评论