SEO：屏蔽流氓蜘蛛抓取

dingcho

于 2024-05-25 01:01:34 发布

阅读量344

点赞数 5

分类专栏： SEO 文章标签： SEO解决屏蔽流氓蜘蛛抓取服务器解决屏蔽流氓蜘蛛抓取

本文链接：https://blog.csdn.net/yao_guai/article/details/139187383

版权

SEO 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

解决屏蔽流氓蜘蛛抓取，如MJ12bot 、DotBot 、BLEXBot 、PetalBot 、DataForSeoBot

1、robots文件屏蔽

User-agent: MJ12bot
Disallow: /
User-agent:DotBot
Disallow: /
User-agent:BLEXBot
Disallow: /
User-agent:PetalBot
Disallow: /
User-agent:DataForSeoBot
Disallow: /

2、Nginx等服务器规则屏蔽

if ($http_user_agent ~*  （MJ12bot|DotBot|BLEXBot|PetalBot|DataForSeoBot） )
{
    return 403;
}

注意：在前期如果流量少，可以设置下防火墙，屏蔽掉轰炸式蜘蛛，蜘蛛来访也可以增加收录率，所以根据自己需求来屏蔽

if ($http_user_agent ~* (YandexBot|spbot|DnyzBot|Researchscan|semrushbot|yahoo|AhrefsBot|DotBot|Uptimebot|MJ12bot|MegaIndex.ru|ZoominfoBot|Mail.Ru|SeznamBot|BLEXBot|ExtLinksBot|aiHitBot|Barkrowler)){
    return 403;
}