![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spalsh
笑笑布丁
个人博客:https://madpudding.github.io/
展开
-
The X11 connection broke (error 1). Did the X11 server die?
背景: mac跑docker的spalsh遇到的错误,开始我以为时mac休眠的问题(远程链接的),后面看了docker日志,发现并不是这样.解决办法:将lua里面的在这里: splash.images_enabled = false # 改为true附上GitHub issue:戳这里....原创 2019-10-31 12:29:15 · 5695 阅读 · 2 评论 -
python 爬虫之scrapy-splash 带cookie请求示例
简单示例这是一个scrapy + splash 带cookie请求网站的示例,适用于需要登录且是js渲染的网站抓取。1.首先需要导入这些包:2.编写起始方法:在方法里,SplashRequest是启动splash的方法,其他你如果是想完成登录操作的话,你可以使用SplashFormRequest方法带参登录。3. 在lua里设置请求头:众所周知,splash可以通过lua进行调用,...原创 2019-05-07 12:23:40 · 3683 阅读 · 2 评论 -
scrapy splash 504错误解决以及若干建议
原因:使用splash经常出现504 get-away错误,很头疼,查了一圈,在官方文档那里的到若干建议或者说解决注意方法。splash 504原因官方解释:HTTP 504错误意味着对Splash的请求花费超过超时秒数(默认为30秒) - Splash在超时后中止脚本执行。 要覆盖超时值,请将’timeout’参数传递给您正在使用的Splash端点。 请注意,允许的最大超时值受最大超时设置...原创 2019-07-02 16:13:38 · 3265 阅读 · 0 评论