使用session pool来优化mongodb的性能

最近的项目使用mgo.v2这个package中的driver来访问mongodb。项目的语言是golang。

但项目上线后发现性能很差，差不多1000多个用户同时登录，就会比较慢，此时mongodb CPU使用率很高。

因此对这个driver的性能进行了测试。作为进一步优化的依据。

首先我测试1000组数据的读写性能，根据一个文件（从mongodb export的实际数据）读入的id来查询user collection。

并update login time。也就是说一个查询做两件事情，query&update。

第一版的测试程序是顺序的，出人意料的是秒过。只用了1000多毫秒就瞬间完成。

第二版的测试程序改为并发，1000多个go routine，并使用了channel来等待这些routine都完成。

这版就没有那么快了1000组数据差不多用了10秒左右，有时候甚至会到二三十秒钟才能完成。

这显然是不能够接受的。

查看mongostat,发现同时存在的连接数达到了2000多个。这应该是对的，因为在我们的程序里，每个查询都是一个连接来完成的。

但是并发版本的居然比顺序版本慢这么多，这其中肯定有问题。

查看顺序版本，发现其mongostat的连接数只有2（一个是mongostats的连接，另一个是我们的程序）。

第一个顺其自然的怀疑就是，这么多连接被创建出来时很耗时的.

第二个顺其自然的怀疑是，每一个mongodb的连接需要占用内存，每个连接底层都有个thread来对应，线程的切换也需要时间。

所以很自然的，第一个优化方向就是改写原来的申请mongdb连接的方式。

1，程序初始化的时候，初始化一个到mongodb的连接池session pool。

2，当查询来请求连接的时候，以round robin的方式寻找一个session为之服务。

3，不同的查询可以复用session的socket连接。

-------------------------------

改版之后的效果：

改版之后，在单台2核心2gHz+3.5Gram的centos 6.5平台上，原来1000个并发查询+1000个更新需要最少10秒左右，改版后就只需要300多毫秒。提升有30多倍。

现在每秒钟可以处理3500个读取+写入共计7000个请求。