RabbitMq性能优化的几项方案

　　以下结论所使用的硬件环境是：

　　服务器：10M上传带宽、1M下载带宽

　　消费端：8G内存＋固态硬盘

　　几个定义：

　　消息：如果没有特别指定消息长度，则默认为1K

　　小批量数据：50万条以内

　　大批量数据：50万条以上

 

1、加大服务器带宽
　　访问量大时，较长的数据容易将带宽占满。如服务器上传带宽为10M，则实际上传带宽可认为1M，每秒上传量为1M/1K=1K。如果把带宽加到100M，则每秒上传量为10K。一般情况下，RabbitMq服务器能够接受的每秒写入量为20K-50K（8G内存），因此在带宽在不足200M的时候，加大带宽会产生很明显的提升作用，再往上效果就可能不那么明显了。

 

2、加大内存
　　RabbitMq的机制是先将消息放在内存中，然后分批写入硬盘。小批量数据的写入基本上都放在内存中，内存数据量过大时会一边把客户端的数据往内存里写，一边将内存里的陈旧数据往硬盘里写，这样会对速度造成较严重的损耗。适度的增加内存，队列将会更多的消息放在内存中，增加系统的处理速度。

 

3、使用固态硬盘
　　机械硬盘的写入速度较慢，处理大量数据时机械硬盘对性能的损耗十分严重。如果要存放1亿条数据，所需要的硬盘大小为100G，建议采用100-500G固态硬盘。再加上消费端在不断的处理数据，一般待处理的消息能够达到千万级别已经相当不容易了

 

4、增加生产者
　　服务器可以建立多个连接，单个生产者往往不能充分利用服务器的潜能，建立多个生产者之后，服务器处理能力将会得到充分利用。一般情况下，一个生产者每秒可以传入1000-5000条消息，在1-10这个范围内，每增加一个生产者，处理速度就会相对单生产者增加一倍

 

5、增加消费者
　　消费者增多时，出队速度有明显改善。该方案对于出队速度的影响有限，1-10个进程范围内，相对于单进程只有一倍左右的提升，建议线程开2-5个即可，再多可能影响不大。出现该现象的原因可能是服务器带宽或硬件处理能力有限，消费者增加了也没什么用处。因为没有实际环境测试，此条只列为建议，采用前可以多做实验

 

6、改网络访问为本地访问
　　该方案在消费端/生产端与RabbitMq服务器部署在同一台电脑时有用，因为省略了网络传输，大大节省了处理时间。如果消费端/生产端与RabbitMq服务器分开部署，该方案就不能使用了。在代码中将IP地址127.0.0.1改为localhost即可

 

7、消费端使用长连接
　　如果每次消费都建立一个连接，无疑将极大的消耗网络与消费端资源，可以只建立一个长链接，所有消息都使用这个长连接来消费。此处需要注意的是，如果长连接出问题，可能会导致队列不能继续消费，需要注意做异常控制。