Scrapyjs Splash KeyError 'splash'

在爬虫中使用了response.meta['splash']['args']['url']的方法来获取原始的请求的url,在本地运行时一切正常,但是一部署到服务器上面就出现KeyError 'splash'这样的错误。通过在爬虫中加上日志,记录下response.meta中的内容:logger.i...

2016-05-18 23:02:54

阅读数 1231

评论数 0

Splash Scrapyjs Connection was refused by other side: 111: Connection refused.

在爬虫中设置了一个Splash代理来解析JS,有时莫名其妙出现这个错误,一开始以为是ip被对方封了,最后发现是服务器上设置的代理不知为什么停止运行了。重新运行起来就好了。

2016-05-18 22:13:13

阅读数 4453

评论数 1

Scrapyjs Splash不下载图片来加快响应速度

splash的render.html端点有一个选项是images,是一个整数,可以是1或者0,1代表下载图片,0代表不下载图片,默认值是1,可以通过设置为0,这样在下载网页的时候就可以不下载图片,以加快响应的速度。

2016-05-16 20:43:21

阅读数 1356

评论数 0

Ubuntu 16安裝Scrapy出错及解决方案

先在机器上用sudo apt install python-pip命令安装pip工具,然后使用pip install scrapy直接安装scrapy,出现下列错误: Failed building wheel for cryptography Failed cleaning build dir ...

2016-05-16 14:23:20

阅读数 6268

评论数 0

HTTP GET 请求在请求体中带参数的问题

最近看Elasticsearch: The Definitive Guide这本书的时候,有些时候发现使用curl的时候,在GET请求中加了-d参数,因为很少见到GET请求在请求体中带参数,一般情况下都是在URL里面的,所以好奇特地用wireshark抓了一下包,使用的命令是curl -XGET ...

2016-05-02 20:26:23

阅读数 20843

评论数 0

Elasticsearch: The Definitive Guide的一个错误

最近学习es,先是在图书馆借了几本书,但是发现与es现在的版本相差太远了,所以就选择直接在网上看The Definitive Guide,感觉这本书讲得倒还挺好,不过在看到这个地方的时候,按照书上的代码总是出现错误:{ "error" : { "root_cause&...

2016-05-02 20:03:16

阅读数 683

评论数 0

提示
确定要删除当前文章?
取消 删除