robots.txt
告诉搜索引擎那些想被收录,那些不想被收录(wordpress原文件等不想被收录)。网上有很多针对wordpress的robots.txt.
sitemap.xml
当爬虫来到网站后,为了让爬虫爬到本网站所有的东西,需要在主页上添加一个超链接。
连接的是本网站所有网址,以及内容的一个概况介绍的xml文件。
有很多插件可以自动将wordpress的网站生成xml文件,比如google sitemap generator。
安装插件后,会在”设置“中多了sitemap的生成选项,操作即可。
生成之后,一般做一个网站地图的超链接,通过后台的 外观->编辑->底部 来修改网站首页的底部模版
将超链接添加进来即可。
《完》