Scrapy+splash报错 Connection was refused by other side

报错信息如下:

Traceback (most recent call last):
  File "/usr/local/lib/python3.7/site-packages/scrapy/core/downloader/middleware.py", line 43, in process_request
    defer.returnValue((yield download_func(request=request,spider=spider)))
twisted.internet.error.ConnectionRefusedError: Connection was refused by other side: 111: Connection refused.


先说一下环境:Dokcer+Postgresql9.6+Scrapy 1.6.0+splash3.3.1

按照以往的步骤:

首先启动splash   docker run -d(后台运行)  --name   你的容器名(可以没有)  scrapinghub/splash   /bin/bash

然后在容器内 scrapy check   -----完美,没有任何报错。但是在开启爬虫后出现 了如上报错信息。

最后在https://stackoverflow.com/questions/44835828/scrapy-splash-connection-refused  这个老哥收到启发

原来是启动splash 没有指定端口映射 

启动splash命令加上端口映射:

   docker run -d(后台运行)  --name   你的容器名(可以没有) -p 8050:8050 scrapinghub/splash   /bin/bash

最后在浏览器输入localhost:8050看是否能看到如下界面:

最后爬虫不再报错,完美解决

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
"Connection was refused by other side: 111: Connection refused"是一个网络连接问题的报错信息。根据引用的内容,这个报错可能是由于连接被拒绝引起的。具体原因可能是服务器端拒绝了你的连接请求,可能是由于IP已过期被识别为爬虫或者是代理或请求头的问题导致的无法连接服务器。另外,引用提供了一些解决Linux中telnet: connect to address 127.0.0.1: Connection refused错误的方法,可以参考。需要进一步排查具体原因,可以检查一下代理设置或请求头,确保正确的连接方式和参数。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [Connection was refused by other side: 111: Connection refused. scrapy设置随机代理的步骤](https://blog.csdn.net/weixin_43256057/article/details/90644201)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [Linux 出现telnet: 127.0.0.1: Connection refused错误解决办法](https://download.csdn.net/download/weixin_38560502/12843939)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值