热视网 上线三天。最早来crawle热视网的是sogou的spider,很厉害,抓了10000多页资源。紧接着iaskspider也来了,比sogou要温柔些,但是也抓了1000多页。google bot和baiduspider在门口转了转,抓了robots.txt和首页后就不来了,郁闷。
sougou spider,iask spider先后来肆虐我的网站
最新推荐文章于 2024-09-11 05:46:29 发布
热视网 上线三天。最早来crawle热视网的是sogou的spider,很厉害,抓了10000多页资源。紧接着iaskspider也来了,比sogou要温柔些,但是也抓了1000多页。google bot和baiduspider在门口转了转,抓了robots.txt和首页后就不来了,郁闷。