如何屏蔽网站不需要的蜘蛛

最近查看网站日志发现了好多访问频繁的IP，详细查看后才发现是一些不认识的蜘蛛

蜘蛛有以下几种

Baiduspider百度蜘蛛

User-agent: Baiduspider
Disallow: /

Sogou web spider搜狗蜘蛛

User-agent: sogou spider
Disallow: /

Googlebot谷歌蜘蛛

User-agent: Googlebot
Disallow: /

360Spider360蜘蛛

User-agent: 360Spider
Disallow: /

bingbot必应蜘蛛

User-agent: bingbot
Disallow: /

YisouSpider一搜蜘蛛

User-agent:YisouSpider
Disallow: /

AhrefsBot（ 国外Web 爬虫）

User-agent: AhrefsBot
Disallow: /

PetalBot华为花瓣搜索引擎蜘蛛

User-agent: PetalBot
Disallow: /

BLEXBot(国外蜘蛛爬虫)

User-agent: BLEXBot
Disallow: /

MegaIndex.ru(国外爬虫）

User-agent: MegaIndex.ru

Disallow: /

MJ12bot（英国蜘蛛）

User-agent: MJ12bot

Disallow: /

DotBot

User-agent: DotBot

Disallow: /

SemrushBot

User-agent: SemrushBot

Disallow: /