高并发数据量较大情况下的编码原则

http://blog.chinaunix.net/uid-22400952-id-3817281.html

 

单机服务器支持千万级并发长连接的压力测试

https://blog.csdn.net/e_wsq/article/details/77688020

 

我们在编程时，可能会遇到实时性要求高，并且数据量大的情况，这时进行编码就要尽量遵循以下编码原则：

1、减少数据的拷贝，只有一次数据拷贝或只占用一块数据内存。

一条数据只进行一次内存的占用，不要或尽量少的进行内存拷贝，不要超过两次。

2、所有对数据的处理均在内存中执行。

3、采用内存老化机制，防止数据一直驻留内存。

对于实时采集数据的系统或流水式系统来说，很可能会出现一些数据老是呆在内存里面不出来的问题，这时就要牺牲一些精度，将老化机制引入系统中。

4、避免频繁读写硬盘，且进行批量读写。

虽然读写磁盘的时间已经很短了，但对于较大的系统来说，读写磁盘仍然是一个非常大的时间开支。

减少IO操作，在数据采集上来或者从硬盘上读取上来之后就不要再与硬盘进行交互，所有处理均在内存中进行处理，等内存的工作处理完成后再统一进行一次IO处理。

5、采用多线程技术，减少时间依赖或顺序依赖关系。

多线程能够大大提高系统执行的效率，减少用户的等待，提高系统反应速度，所以所线程往往在大型系统中非常流行。

6、减少访问数据库，访问时也要批量访问。

与IO操作一样，尽量减少，说白了数据库访问其实也是IO操作，读写硬盘上的文件。