nuxt 如何添加robots.txt文件

前言

robots.txt 里面保存着我们网站对于搜索引擎的爬取做出的一些权限配置，哪些可以爬取，哪些不可以。

操作流程

1、在static文件夹下创建一个 robots.txt 文件
2、文件内容为

• 这里的 # 等价于 // ，注释的意思
• User-agent: *  星号通配符代表允许浏览器可以代理该网址，也可以指定某个浏览器 示例: User-agent: Google
• Disallow: 不写代表允许爬虫爬取我们网站的所有内容，写了代表指定的页面不被爬取。
  示例:
Disallow: /joe/junk.html
Disallow: /joe/foo.html
• 还可以设置Sitemap站点地图，这个是做SEO的重中之重核心点，用于收录我们网站的所有页面，网站排名更靠前，如果你的网站还没有站点地图可以不写Sitemap属性，至于nuxt如何生成sitemap站点地图我重新开篇文章来讲。
• 更多详细配置查看robots官方文档

User-agent: *
Disallow:
Sitemap: 你的网址/sitemap.xml