最近不知道为什么,iis 日志里面多了几个奇怪的蜘蛛,其一是 +Bytespider ,据说是字节跳动做站外搜索的蜘蛛,我真相问候字节跳动的开发,你们的蜘蛛都不用控制频率的吗?我都搞不懂你们是怎么并发的,我一个分页展示产品的分类浏览页面,它愣是一口气并发出了几百个请求,同时请求几百页。。。。。这样子并发我不做缓存预热都没法防吧。后来我果断的直接把这个蜘蛛的user-agent给屏了,检测到这个ua的直接给404了
不过还有两家蜘蛛,并发量不像这个,但是也能搞死我的服务器,我的windows 服务器的计数器上,并发高到一两千的时候,网站就很卡,几乎无法运行,好像是有队列被挂起?
主要是 Request current和Request Queued 飙升(这是我从别人的帖子里面学来的说是看这个),大概数值是 1700的样子,网站就奇卡了。
我的web服务器,配置是 E5-2680 4核的 16g内存的 ,每个站点用了一个独立的IIS进程池,IIS进程池我没有做特殊的配置,就是创建一个IIS进程池后,直接拿来用的。IIS版本是 7.5,windows server版本是 server 2008
我现在想知道的问题是:
一、我这样配置IIS进程池,能支持的最高并发数是如何计算的?
二、我该如何修改配置,才能使得改站点支持的并发数提高?
三、假设我某个aspx页面只 Response.write("hello") ,哪怕是这么一个简单的页面,也有最高并发数限制吗?这个问题和第一个问题其实是一个问题吧,我想表达的意思是,哪怕我这个页面再简单,也会受到并发数限制吗?因为我给这个被频繁抓取的页面加了一个算法,记录每个IP,发现这个IP一分钟内访问次数超过xx次后,就直接给对方response.write 了一段文字(我记录IP一分钟内访问次数是记在内存缓存,以" IP_时分秒"作为缓存节点,所以写入和判断应该是非常快的。),所以哪怕是这么一个简单的判断+response.writer 也是受到最高并发数限制的吗?
下图是我的IIS站点的计数器信息