pyspider连接rabbitmq ，结果出现socket.error: [Errno 104] Connection reset by peer 这样的报错信息

最新推荐文章于 2024-09-12 09:50:20 发布

fancyChuan2

最新推荐文章于 2024-09-12 09:50:20 发布

阅读量1.4w

点赞数 1

分类专栏： rabbitmq pyspider 文章标签： pyspider rabbitmq socket error

本文链接：https://blog.csdn.net/myfancysky/article/details/47798809

版权

pyspider 同时被 2 个专栏收录

4 篇文章 0 订阅

订阅专栏

rabbitmq

2 篇文章 0 订阅

订阅专栏

linux系统中：

pyspider+rabbitmq+mongodb环境下启动pyspider时出现socket.error: [Errno 104] Connection reset by peer 的错误信息。

首先，分享一下自己总结的做维护或者排除bug 的思路：

1.维护一定要学会定位错误所在。而定位错误日志就是一个相当好用的工具！
2.遇到问题查找资料去分析产生问题的原因有哪些。因为一般你找不到和你出错一模一样的信息的。只能通过原因去找出自己程序出问题的位置。

其次，感谢一下这两篇文章的作者。带给了我思路。

http://blog.sina.com.cn/s/blog_75df0af40100qcsv.html

以及 http://m.blog.csdn.net/blog/zjk2752/21236725

好吧。把博主的错误贴上来吧。

根据上面两篇文章的提示

【查看日志】既然定位到rabbitmq出现了问题，那看日志吧。通过 cat /var/log/rabbitmq/rabbit@iZ2833hov32Z.log 即可看到相关日志情况。
*****************************************************
=INFO REPORT==== 16-Aug-2015::09:49:29 ===
Priority queues enabled, real BQ is rabbit_variable_queue

=INFO REPORT==== 16-Aug-2015::09:49:29 ===
Memory limit set to 1531MB of 3829MB total.

=INFO REPORT==== 16-Aug-2015::09:49:29 ===
Disk free limit set to 50MB

=INFO REPORT==== 16-Aug-2015::09:49:29 ===
Disk free space insufficient. Free bytes:0 Limit:50000000
*********************************************************************

看到了吧，就是Disk space的容量出现问题。在网页管理页面，也可以发现Disk space显示为0.而默认是50M，所以rabbitmq-server会受限制。

官方对这个值的配置参数disk_free_limit的解释：

disk_free_limit Disk free space limit of the partition on which RabbitMQ is storing data. When available disk space falls below this limit, flow control is triggered. The value may be set relative to the total amount of RAM (e.g. {mem_relative, 1.0}). The value may also be set to an integer number of bytes. By default free disk space must exceed 50MB. See the memory-based flow control documentation.
Default: 50000000

查看linux主机的磁盘使用情况：

[root@iZ2833hov32Z pyspider]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/xvda1 20G 20G 0 100% /
tmpfs 1.9G 0 1.9G 0% /dev/shm
/dev/xvdc1 69G 47G 19G 72% /mnt/diskc
/dev/xvdb1 30G 339M 30G 2% /mnt/diskb

看到了吧，一个磁盘满了！上网找了一下，解决思路有：
1.删除没有用的日志。以及把一些没用的大文件删除吧。

2.不能删除的就把打文件转移到diskb盘或者diskc盘里面。

重新启动pyspider，成功了！！

【题外话】

博主我，半路出家学pyspider、mongodb数据库、rabbitmq、更是半路出家学linux。走了很多的弯路。当作为一个在代码的世界里遨游的人，不走弯路怎么能换来更强悍的成长呢？博主我，感受很深啊。看哪天有时间了，把自己学的东西贴上来一下。希望今天分享的对大家能有所帮助。有问题的欢迎大家留言探讨哈~