爬虫
!d10t
这个作者很懒,什么都没留下…
展开
-
Scrapy 关于Request对象
Request对象由start_requests()调用make_requests_from_url() 生成Request对象,要修改最初爬取某个网站的Request对象,可以重写start_requests()方法(但重写必须返回一个可迭代对象,一般为生成器,此方法只会在spider启动爬取并且未制定URL时调用一次)。例如,如果需要在启动时以POST登陆某个网站,可以写成:class My...转载 2019-03-06 15:49:50 · 338 阅读 · 0 评论 -
scrapy-redis 关闭spider的问题
https://blog.csdn.net/mr_hui_/article/details/81455387转载 2019-04-24 01:21:28 · 771 阅读 · 0 评论 -
python使用requests 上传文件为中文名时上传失败
https://www.cnblogs.com/yangyangchunchun/p/9351966.html浏览器可以上传成功,但是requests不能上传成功。抓包发现上传时参数有差异:浏览器: filename = filenamerequests: filename* = filename解决办法:python 的requests使用了urllib3中的方法。在urllib3下的f...转载 2019-06-09 16:55:22 · 1213 阅读 · 0 评论