防止对手用工具扒皮你的独立站加强版丨出海笔记

各位老铁大家好，上次我们分享了一个小技巧，我们这次再分享一个威力加强版，以这个网站为例，我们饿用‍builtwith看到他屏蔽了一些常用的爬网站流量的工具，比如：semrush, ahrefs, majestic, 熟悉独立站的同学都知道我们经常用三驾马车——similarweb, semrush, ahrefs去把隔壁老王扒得内（和谐）裤都不剩。所以当我们网站流量起来，也要学会防止老王反爬我们，还是很有必要的，那具体怎么做呢？只要把下面的代码，分别加到你网站的 robots.txt一般你的SEO负责人，IT或者网管都会知道怎么做。详情参考官方文档,我在这里面已经列在下面了：

Semrush用以下代码

官方说明：https://www.semrush.com/bot/ser-agent: SemrushBotDisallow: /

Ahrefs用以下代码

官方说明：https://ahrefs.com/robot

User-agent: AhrefsBot

Disallow: /

Majestic用以下代码

官方说明：https://www.mj12bot.com/index.html

User-agent: MJ12bot

Disallow: /

BuiltWith

http://builtwith.com/removalsSimilar比较牛逼，我暂时没找到很好的办法弄他，知道的老铁可以告诉我，但当我们的网站大到足矣入Simiarweb法眼的且数据还准确的时候，我们又有何惧哉？上面几个加了，那基本上就可以防止至少大半老王去爬你的网站了，当然这个更多防君子不防小人了，至少增加他们研究我们的难度。大家有任何问题，欢迎随时跟我继续交流啊！谢谢大家！