＜meta name=“robots“ content=“index,follow“＞的解释

为了让搜索引擎禁止抓取本页面

此标签必须放在< head >和< /head >之间
content中的值决定允许抓取的类型，必须同时包含两个值：是否允许索引（index）和是否跟踪链接（follow，也可以理解为是否允许沿着网页中的超级链接继续抓取）
共有四个组合：
1.index,follow:允许抓取本页，允许跟踪链接
2.index,nofollow:允许抓取本页，禁止跟踪链接
3.noindex,follow
4.noindex,nofollow
index,follow也可以写成all
< meta name=“robots” content=“all” />
noindex,follow也可以写成none
< meta name=“robots” content=“none” />