wordpress 添加修改 robots.txt

原创 2015年11月21日 11:37:22

wordpress 添加修改 robots.txt

// define the do_robots ---------------------------------------------------------------------
add_filter( 'robots_txt', 'add_robots_rewrite', 10, 2 );
function add_robots_rewrite( $output, $public ) {
    $output = "User-agent: *\n";
    $output .= "Disallow: /\n";
    $output .= "Disallow: /admin/\n";
    $output .= "Disallow: /search/\n\n";

    $output .= "\nUser-agent: ia_archiver\n";
    $output .= "Disallow: /";
    return $output;
}
版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Wordpress如何正确书写Robots.txt

首先我们来查看一个朋友的robots.txt,显然他的是不曾修改的,用的还是Wordpress默认的。这种缺陷是巨大的,因为没有屏蔽/wp-content/和/wp-includes/等诸多文件,假以...

wordpress中如何正确书写robots.txt

首先我们来查看一个朋友的robots.txt,显然他的是不曾修改的,用的还是Wordpress默认的。 这种缺陷是巨大的,因为没有屏蔽/wp-content/和/wp-includes/等诸多文件,...

WordPress网站的Robots协议应该怎么写

相信许多博主和Joe一样用的是Wordpress建站程序,Wordpress确实是一个非常强大的博客建设程序,前些天在网上了解到了一些Robots知识,接下来与大家分享一下Wordpress的Robo...

robots.txt 不让搜索引擎收录网站的方法

有没有担心过自己的隐私会在强大的搜索引擎面前无所遁形?想象一下,如果要向世界上所有的人公开你的私人日记,你能接受吗?的确是很矛盾的问题,站长们大都忧虑“如何让搜索引擎收录的我的网站?”,而我们还是要研...

Python 网络爬虫 010 (高级功能) 解析 robots.txt 文件

解析 robots.txt 文件使用的系统:Windows 10 64位 Python 语言版本:Python 2.7.10 V 使用的编程 Python 的集成开发环境:PyCharm 2016...

seo优化必须知道的robots.txt写法

什么是robots.txt文件?        robots是站点与spider沟通的重要渠道,站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意,仅...

robots.txt的格式

在国内,网站管理者似乎对robots.txt并没有引起多大重视,应一些朋友之请求,今天想通过这篇文章来简单谈一下robots.txt的写作。 robots.txt基本介绍 robots.t...

如何写robots.txt?

如何写robots.txt? 在国内,网站管理者似乎对robots.txt并没有引起多大重视,应一些朋友之请求,今天想通过这篇文章来简单谈一下robots.txt的写作。 robots.txt基本介绍...

zen cart网店系统的robots.txt如何写?

本人整理Zen Cart 1.3.9h版本robots写法,供参考 http://www.sem9.com/thread-9118-1.html http://hi.baidu.c...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:wordpress 添加修改 robots.txt
举报原因:
原因补充:

(最多只允许输入30个字)