解决wordpress robots.txt无法正常访问的问题

最新推荐文章于 2023-10-09 10:30:36 发布

weixin_34184158

最新推荐文章于 2023-10-09 10:30:36 发布

阅读量721

点赞数

文章标签： php java

原文链接：http://www.cnblogs.com/kiah/archive/2012/02/24/2366611.html

版权

访问一直都是

User-agent: *

Disallow:

是因为和google-xml-sitemap插件的冲突，造成只能访问虚拟robots.txt

网上无外乎就是两种方法：安装kb Robts.txt插件和增加wrodpress伪静态规则。

方法一：kb Robts.txt插件。这里要强烈谴责一下那些不负责任的人，转载文章都不经过思考，这个插件从07年就停止更新了，最高支持wordpress 2.5版本，即使能用，能保证一定是安全么，虽然我对代码不懂……可以点击图片查看插件发布的截图：点我点我

方法二：在hpptd.ini中添加一条伪静态规则（wordpress伪静态规则）

RewriteRule /robots.txt /robots.txt [L]

但是我实际使用中，不知道是缓存（我没有安装缓存插件）的原因还是其他什么，并不能生效。我的方法是：先关闭google-xml-sitemap插件，然后添加伪静态规则，上传robots.txt到根目录，发现能正常访问后，再重新开启google-xml-sitemap插件即可

转载于:https://www.cnblogs.com/kiah/archive/2012/02/24/2366611.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_34184158

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

OSCP靶场6-Stapler（用户收集、wordpress、SMB、mysql上传文件执行反弹shell、用户历史命令）

墨痕诉清风的博客

06-06

349

步骤 0：目标发现所以……和往常一样，让我们看看我们的目标在网络上的位置10.10.10.1 是 DHCP 服务器……让 10.10.10.2 成为“受害者”机器第 1 步：TCP 开放端口扫描为了速度，我们现在不会专注于版本扫描等……我们只是想看看有什么是活着的虽然有些端口看起来很明显，但还有一些其他端口，例如 '666' 被错误地表示为 'doom' - 这些只是特定端口号的 nmap 默认值。我们需要进行更详细的扫描，以查看真正活着的东西。第 2 步：TCP 主动端口扫描。

wordpress网站没有写robots.txt,搜索引擎却能访问

weixin_34109408的博客

04-06

387

用wordpress建站的站长们有没有遇到那样的状况：想在wordpress中找到robots.txt文件并修改它，却不知道robots.txt文件放在wordpress在何处，我在查看网站日记时发现，搜寻引擎蛛蛛爬取了网站的robots文书，然而站长们还没有做过robots文书，那某个robots文书哪来的呢？那么wordpress中没有robot...

参与评论您还未登录，请先登录后发表或查看评论

常见robots.txt错误

learningwithme的专栏

12-06

1475

- 颠倒了顺序：错误写成User-agent: *Disallow: GoogleBot正确的应该是：User-agent: GoogleBotDisallow: *- 把多个禁止命令放在一行中：例如，错误地写成Disallow: /css/ /cgi-bin/ /images/正确的应该是Disallow: /css/ Disallow: /cgi-bin/ Disallow: /i

静态资源CDN robots.txt 设置

方圆百里找对手

04-03

286

将屏蔽搜索引擎收录。 User-agent: Baiduspider Disallow: / User-agent: Sosospider Disallow: / User-agent: sogou spider Disallow: / User-agent: YodaoBot Disallow: / User-agent: Googlebot Disallow: / User-agent: Bi...

爬虫限制（robots.txt）

最新发布

weixin_64910075的博客

10-09

2110

需要注意的是，未经允许的爬虫行为可能违反网站的使用条款或法律法规。在进行网页爬取之前，建议先查看网站的Robots.txt文件以及相关的使用条款，并确保你的爬虫行为合法合规。

爬虫被拦截后的解决方案（注意robots.txt）

CN_BIT的博客

11-03

3078

由于课程大作业的缘故初学爬虫，在爬取贝壳网二手房数据时，由于爬虫耗时以I/O操作为主，因此使用多线程爬虫提速。但是被识别为机器人并拦截，无法完成爬取。笔者使用了随机sleep，fake-useragent库，代理等方法，仍然被拦截。 robots.txt是一个存放在网站根目录下的ASCII编码的文本文件。爬虫在爬网站之前，建议首先访问并获取这个robots.txt文件的内容，这个文件里面的内容会告诉爬虫哪些数据是可以爬取的，哪些数据是不可以爬取的。要查看一个网站的robots.txt，只需要访问“网站

wordpress seo-video

07-07

XML站点地图帮助搜索引擎快速索引你的网站内容，而robots.txt文件则指导爬虫哪些页面可以访问。视频会介绍如何在WordPress中生成XML站点地图，并设置有效的robots.txt文件。 **社交媒体集成** 社交媒体与SEO之间的...

wordpress网站被挂马以及防御方法

09-28

第三，为了防止攻击者通过URL直接访问后台，可以采用隐藏后台登录地址的方式，例如通过修改网站配置或利用某些插件，使攻击者无法通过简单的“/wp-admin”访问后台。第四，使用robots.txt文件或相关插件屏蔽后台...

【T7978】响应式品牌男女服装设计类网站模板(自适应手机端).rar

09-22

4. **robots.txt**: 这个文件用于指导搜索引擎爬虫如何抓取网站内容。合理的设置能帮助提高网站的SEO（搜索引擎优化）效果，避免不希望被索引的部分被搜索引擎收录。 5. **skin**: 这可能是皮肤或主题文件夹，包含...

王炜炜网络渗透作业

weixin_67830340的博客

03-16

1430

1. 指纹识别指纹由于其终身不变性、唯一性和方便性，几乎已成为生物特征识别的代名词。通常我们说的指纹就是人的手指末端正面皮肤上凹凸不平的纹线，纹线规律的排列形成不同的纹型。而本节所讲的指纹是指网站CMS指纹识别、计算机操作系统及Web容器的指纹识别等。应用程序一般在html、js、css等文件中多多少少会包含一些特征码。在渗透测试中，对目标服务器进行指纹识别是相当有必要的，因为只有识别出相应的Web容器或者CMS，才能查找与其相关的漏洞，然后才能进行相应的渗透操作。 CMS（Conten...

wordpress robots.txt优化你的博客

01-20

WordPress博客的robots.txt文件写法得根据自身网站情况来定，当然我们可以借鉴一些知名网站的robots.txt写法，比如可以看wordpress教程网的robots.txt,可以通过访问：http://www.shouce.ren/robots.txt 获取以下就以本站为例： User-agent: * Disallow: /wp- Disallow: /? Disallow: /feed/ Disallow: /*/feed/ Disallow: /trackback/ Disallow: /*/trackback/ Disallow: /page/ Disallow:

Python爬虫day1

瞿凯Kai的博客

05-29

350

网络爬虫简介：网络爬虫（web crawler），以前经常称之为网络蜘蛛（spider），是按照一定的规则自动浏览万维网并获取信息的机器人程序（或脚本），曾经被广泛的应用于互联网搜索引擎。使用过互联网和浏览器的人都知道，网页中除了供用户阅读的文字信息之外，还包含一些超链接。网络爬虫系统正是通过网页中的超链接信息不断获得网络上的其它页面。正因如此，网络数据采集的过程就像一个爬虫或者蜘蛛在网络...

WordPress网站的robots文件代码怎样写比较好

程序人生

06-24

640

WordPress网站的robots文件代码怎样写比较好。。。

怎样写robots.txt实例

cc1254383393的博客

09-26

3249

资料一　　1.robots.txt文件是什么　　robots.txt是一个纯文本文件，是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。每个站点最好建立一个robots.txt文件，对seo更友好。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器将在日志中记录一条404错误，所以你应该在网站中添加一个r

如何为WordPress博客robots.txt写教程

m0_56088477的博客

05-26

431

详情介绍最简单的开放写法不作任何限制，Wordpress站内链接结构比较合理，作为一般博客，完全开放就可以了，代码： User-agent: * Disallow: 允许所有蜘蛛访问，允许访问所有内容。Wordpress只要模板中链接设计合理，没有需要限制的特殊内容，推荐使用这种写法。前几天安装网站看到了sitemap网站图。其实在开始之前，我觉得很复杂。我做完之后，发现一点也不复杂。只要多查资料，网上有很多wordpress专家愿意分享自己的方法。今天发现网站的根目录里没有robo

MapReduce小文件问题

JAVA_LuZiMaKei的博客

09-25

582

MapReduce小文件问题 (1).小文件处理的弊端 1.每个小文件都要执行一次map任务,增加map任务的开销. 2.小文件太多,会耗费很多时间去寻址. 3.需要记录小文件的元数据,造成namenode的内存浪费. (2)解决办法 1.尽量避免出现小文件,将多个小文件合并成一个顺序文件,文件名作为键,文件内容作为值. 2.如果HDFS中出现了大批小文件,CombineFileInputFormat将多个小文件打包到一个分片中. 3.使用Hadoop自带的archive工具,主要减少nam

robots.txt_robots.txt在开发服务器上重新路由

culuo8053的博客

07-27

137

robots.txtEvery website should have a robots.txt file. Some bots hit sites so often that they slow down performance, other bots simply aren't desirable. robots.txt files can also be used to communic...

robots.txt 协议---Robots.txt 规范

simple_code

12-09

1048

Robots.txt 规范摘要本文档详细介绍了 Google 处理 robots.txt 文件的方式，这种文件让您可以控制 Google 的网站抓取工具如何抓取可公开访问的网站并将其编入索引。具体变化 2019 年 7 月 1 日，Google 宣布将推动 robots.txt 协议成为一项互联网标准。这些变化都反映在本文档中。变化列表基本定义定义抓取工具抓...

编写站点robots文件

lcd的博客

09-06

437

Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单，但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。使用方法: Robots.txt 文件应该放在网站根目录下，并且该文件是可以通过互联网进行访问的。例如：如果您的网站地址是 http://www.yourdomain.com/那么，该文件必须能够通过 ht...