网站屏蔽所有人访问，只允许蜘蛛访问

最新推荐文章于 2024-09-21 10:25:52 发布
最新推荐文章于 2024-09-21 10:25:52 发布
阅读量1.5k 收藏 1
点赞数
文章标签： sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woaisjm/article/details/121469440
版权
该博客内容涉及如何通过配置HTTP_USER_AGENT来实现网站访问的限制，确保只有特定搜索引擎的爬虫可以访问。通过设置规则，如果用户代理不包含百度、神马、搜狗、谷歌等爬虫标识，则会返回404错误页面或执行301/302重定向至指定网站，以此达到控制流量和SEO的目的。
摘要由CSDN通过智能技术生成

屏蔽所有人访问，只允许蜘蛛访问

if （$http_user_agent !~* "Baidu|Yisou|Sogou|360|Byte|bing|Soso|Yahoo|Google"）
{
return 404;
}

解释：$http_user_agent 简称UA，   ~*为任意包含，不区分大小写，如果是不包含，则为：！~*
这句话的意思就是如果UA里不包含baidu, 神马，搜狗，谷歌字符的话，则返回404，编辑404.html页面，则显示你想要的内容，比如广告。

if （$http_user_agent !~* "Baidu|Yisou|Sogou|Google"）
{
   return 301 http://www.hao123.com;
}
解释：这个是，非这几个蜘蛛，就301跳转到hao123.com
if （$http_user_agent !~* "Baidu|Yisou|Sogou|Google"）
{
return 302 http://www.baidu.com;
}
解释： 这是302跳转

woaisjm
关注
PHP记录搜索引擎蜘蛛访问网站足迹的方法
10-24
通过这种方式，你可以收集关于搜索引擎蜘蛛的详细访问信息，包括访问频率、访问时间以及访问的URL，这对于网站维护和优化非常有价值。同时，这些数据还可以用于分析网站的流量来源，识别可能的恶意爬虫，或者调整...
nginx设置只允许蜘蛛访问其他访问为404或者301跳转
seoshen的博客
02-22 1989
nginx设置只允许蜘蛛访问其他访问为404或者301跳转 ngxinx设置只允许百度360蜘蛛访问，其他任何IP或者蜘蛛访问为404状态 if ($http_user_agent !~* "Baidu|Yisou|Sogou|Google|360") { return 404; } 实测浏览器打开为404状态，网站日志百度蜘蛛为200正常状态。 设置只允许百度360蜘蛛访问，访客浏览器跳转 if ($http_user_agent !~* "Baidu|Yisou|Sogou|Google|360")
Nginx屏蔽电脑端访问,但不限制蜘蛛爬取
11-21 476
在上面的代码中，我们使用 if 指令来检查用户dai理是否包含 PC、Windows 或 Macintosh 等关键词，如果是，则返回 403 禁止访问的错误页面。然后，我们使用 set 指令定义了一个名为 $spider_user_agent 的变量，该变量包含一个蜘蛛的用户dai理字符串。如果是，则执行相应的代码块，例如添加重定向或dai理设置等。更好的方法是使用 Nginx 的 map 模块或其他更高级的配置选项来实现更精细的用户dai理控制。
网站屏蔽用户，开放搜索引擎
woaisjm的专栏
03-09 277
if ($http_user_agent !~* "Baidu|Yisou|Sogou|360|Byte|bing|Soso|Yahoo|Google") { return 404; }
nginx下禁止垃圾蜘蛛爬取网站，只保留百度蜘蛛和搜狗360神马等
seoshen的博客
12-18 1281
nginx下禁止垃圾蜘蛛爬行网站，只保留百度蜘蛛和搜狗360神马等。访客浏览器打开则出现404错误页，进行跳转。站群引流比较方便，也能规避一些小白参考自己的站群内容。 以宝塔面板为例 if ($http_user_agent !~* "Baidu|Yisou|Sogou|360") { return 404; } 复制以上代码保存到相应位置即可。 实际测试，以360 sogou等简写字符代替360Spider蜘蛛全称，完全可行。本人亲测百度资源管理后台，百度抓取诊
搜索引擎蜘蛛抓取UA不跳转网站代码，正常访问跳转代码
woaisjm的专栏
04-13 1446
怎么让百度搜索引擎蜘蛛抓取本站页面，让用户访问的页面是产品或者是商品咨询页面，让转换率更加好 <?php $flag = false; $tmp = $_SERVER['HTTP_USER_AGENT']; if(strpos($tmp, 'Googlebot') !== false){ $flag = true; } else if(strpos($tmp, 'Baiduspider') >0){ $flag = true; } else if(strpos($tmp, 'Yahoo! Sl.
ngnix 电脑手机网站互相跳转,并识别蜘蛛不跳转
qq_36677358的博客
04-27 960
电脑版ngnix配置 #设置变量 set $mu ''; #判断是否是手机,如果是手机,则赋值mu为m if ( $http_user_agent ~ "^((.*UCWEB.*)|(.*WAP.*)|(.*Mini.*)|(.*iPhone.*)|(.*Android.*)|(.*mobile.*)|(java.*)|(.*BlackBerry.*))$" ){ set $mu m; } # 判断是否是蜘蛛,如果是蜘蛛,则在mu后添加u if ($http_user_agent ~*
使用PHP实现蜘蛛访问日志统计
10-27
在当今的网络环境中，网站运营者往往需要了解并分析网站的访问情况，尤其是要识别和统计各种搜索引擎蜘蛛（或爬虫）对网站的访问记录。蜘蛛访问日志统计可以帮助我们了解搜索引擎的抓取习惯、频率等信息，从而优化...
asp实现禁止搜索引擎蜘蛛访问的代码
10-24
最后，使用该方法时要考虑到，禁止搜索引擎蜘蛛访问可能会影响到网站在搜索引擎中的排名和可见性，因为搜索引擎可能无法索引到某些内容。因此，在实际应用中，需要根据网站的具体需求和目标来权衡使用该技术的利弊。
js如何判断访问是来自搜索引擎(蜘蛛人)还是直接访问
11-24
在Web开发中，有时我们需要判断用户是直接访问网站还是通过搜索引擎找到我们的页面。这有助于分析流量来源，优化SEO策略，或者针对不同情况采取特定的处理方式。 在给定的代码片段中，可以看到几种不同的JavaScript...
用php实现让页面只能被百度gogole蜘蛛访问的方法
12-18
普通用户与搜索引擎蜘蛛爬行的区别在于发送的user agent，看网站日志文件能发现百度蜘蛛名字包含Baiduspider, 而google的则是Googlebot, 这样我们可以通过判断发送的user agent来决定要不要取消普通用户的访问，编写函数如下: 复制代码 代码如下: function isAllowAccess($directForbidden = FALSE) { $allowed = array(‘/baiduspider/i’, ‘/googlebot/i’); $user_agent = $_SERVER[‘HTTP_USER_AGENT’]; $valid = FAL
目前比较流行的屏蔽PC电脑版的JS代码
mmz8的专栏
07-05 2509
自己网站根目录添加/close.html文件。效果图
宝塔如何屏蔽恶意CC和ddoss攻击 宝塔如何屏蔽国外IP访问
jeson8899的博客
07-12 849
宝塔如何屏蔽国外IP访问，宝塔如何屏蔽恶意CC和ddoss攻击呢，在我们服务器资源有限的情况下，各大搜索引擎每天不断爬取我们的服务器上的站点，但是有很多国外恶意蜘蛛抓取我们的网页，这对于我们的站点毫无用处也造成了我们服务器资源的浪费，它们会导致我们的服务器CPU、内存等资源造成消耗。如图（6）所示，在经过屏蔽国外IP后，网站运行就稳定很多，资源也都很好的节省下来，访问速度也快了很多，大大提升了用户访问体验，攻击的迹象也被有效克制住了，通过实践证明宝塔屏蔽恶意CC和ddoss攻击是具备一定的效果的。
使用Nginx对百度蜘蛛的301重定向跳转处理
章郎虫的专栏
03-04 1149
查看原文：http://www.sijitao.net/1943.html 先简单说下我碰到的情况。我一个域名的http页面被墙，国内用户可以通过https方式打开。为了seo，也遵循尽量不换网站域名的前提下，现在我想实现的目标是对国外蜘蛛（google...）和不在墙内的用户访问http页面时301重定向跳转到https，而百度蜘蛛访问原页面时301到一个新域名，新域名...
点击网页中正常链接结果跳转到天猫淘宝的页面
weixin_30736301的博客
06-26 2972
在百度上正常搜索一个关键词，比如箭牌指纹锁，搜索的结果如下： 其他的搜索结果很正常比如第一个是官网，第二个是京东的页面，第三个页面显示的域显示的是一个资讯网站，点击进入之后却是天猫的页面，查看百度快照，快照的内容才是原页面的内容。背后肯定是用了页面跳转技术的，但究竟是什么类型的跳转，需要研究一下。 首先想到的就是JS跳转，打开Chrome设置，禁用网站JS： 再次点击百度搜索页面的链...
php蜘蛛正常抓取，用户跳转指定页面
lx6314415的专栏
03-17 2364
有些时候我们展现的内容是供搜索引擎用了，很多用户是不必看到的，所以下面分享该PHP代码，蜘蛛正常抓取，用户访问调转指定页面代码 　　$v = false; 　　$tmp = $_SERVER['HTTP_USER_AGENT']; 　　if(strpos($tmp, 'Googlebot') !== false){ 　　$v = true; 　　} else if(strpos($tmp
nginx 如何对用户屏蔽网站首页但是对蜘蛛开放
希望我的博客，能帮上你解决学习中工作中所遇到的问题,也期待与您一起探讨技术问题，共同成长。
04-11 273
nginx如何对用户屏蔽网站首页但是对蜘蛛开放
SQL - 进阶语法（一）
最新发布
qq_51222843的博客
09-21 512
关于SQL的进阶语法教程，包括简单合并数据库，修改数据库内容等操作
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

woaisjm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值