用webservice发布应用,如果某一时间并发量很大,无法全部进行处理,如何处理使其不丢失数据?
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
比较简单的方法就是使用队列缓存,然后从队列当中取数据进行处理。
HttpSQS源码好像是用c写的,总代码据说才800多行,但没怎么用过,支持的并发不太清楚;再就是MQ较常用,并发貌似能达到10000+,应该就够用了。
可以从三个方向做,
1是减少客户端无用的请求
建立数据缓存,增量更新等机制尽量减少客户端的请求。
2.提前准备数据,减少实时的数据处理。
对一些请求较频繁的接口,提前处理好数据,减少cpu实时运算
3.缓存数据到redis或者memcached中,减少硬盘读写时间,提高响应速度。
用可持久化队列呗,httpsqs就挺好的,memcached也OK。
所有的请求都放入一个pool里去,至于这个pool这么实现,有很多方法cache等都可以,然后建立高低水位线,去从这些pool里去取数据来处理就可以了
一、不花钱的 代理
HAProxy/Nginx 后面挂N个WebServer 也可以保证Session问题。至于你说的大批量并发有多少。
二、同步处理异步处理
同步处理,请求-》业务逻辑-》应答 有个耗时
异步处理,请求-》存储-》应答 耗时比业务逻辑要少很多。存储可用FQueue 内存映射+文件。
异步就是多一个请求。要结果。所以请求的时候加一个messageid唯一值由另外的接口返回。