头条搜索Sitemap提交说明

功能说明

1. 提交sitemap工具可以向头条搜索提交网站的sitemap文件，帮助头条spider更好的抓取您的网站。您可以在此工具下选择已经验证的站点，进行验证站点的sitemap文件提交。
2. sitemap提交后，头条搜索会根据sitemap了解网站中数据情况。

sitemap要求

sitemapindex文件要求

• sitemapindex文件根节点必须是<sitemapindex>
• sitemapindex文件编码必须为UTF-8，第一行为: <?xml version="1.0" encoding="utf-8" ?>
• sitemapindex文件禁止使用命名空间，禁止使用规定之外的属性
• sitemapindex文件大小不得超过5M，sitemap节点数量不超过1w
• 必须保证sitemap中所有URL可访问，且内容符合XML数据文件规范

XML数据文件规范

• 数据XML文件的根节点必须为<DOCUMENT>
• 数据XML文件编码必须为UTF-8，第一行为: <?xml version="1.0" encoding="utf-8" ?>
• 数据XML文件禁止使用命名空间，禁止使用规定之外的属性
• 单个数据XML文件大小不得超过10M(必须满足)，item数目不得超过5w
• 除根节点之外的其它节点，标签名建议采用英文小写字母及下划线‘_’
• 数据节点中包含转义字符，请使用CDATA
• 对于数组型的节点，请在只有一个子节点时保证和多个节点时的结构相同

注意事项

1. 提交的sitemap有作弊嫌疑的url，头条将进行严厉处罚并取消相关权限
2. 头条spider有自身的爬取规则，sitemap只是帮助头条spider更好的收录您的网站，提交sitemap并不会决定网站收录或者排名

工具使用方法

1. sitemap索引格式

<?xml version='1.0' encoding='UTF-8'?>  
<sitemapindex>  
  <sitemap>  
    <loc>https://www.toutiao.com/1.xml</loc>  
    <lastmod>2019-12-05</lastmod>  
  </sitemap>  
  <sitemap>  
    <loc>https://www.toutiao.com/2.xml</loc>  
    <lastmod>2019-12-05</lastmod>  
  </sitemap>  
</sitemapindex>

2. xml格式

<?xml version="1.0" encoding="utf-8"?>  
<urlset>  
  <url>  
    <loc>https://www.toutiao.com/1</loc>  
    <lastmod>2019-11-26</lastmod>  
  </url>  
  <url>  
    <loc>https://www.toutiao.com/2</loc>  
    <lastmod>2019-11-26</lastmod>  
  </url>  
</urlset>

3. 提交sitemap

完成sitemap制作后可以使用sitemap提交工具进行提交

1）提交成功

• 等待：代表您的sitemap文件已经解析完毕，等待抓取
• 正常：代表您的sitemap文件在抓取中
• 异常：代表您的sitemap文件存在问题，不能抓取

2）提交失败

若在sitemap提交工具使用中发生错误，请确认是否为以下原因：

• sitemap文件地址无法访问,请确认提交的地址可正常访问
• sitemap文件地址与提交站点不是包含关系，请确认提交的地址属于已验证的站点
• 相同的sitemap文件地址已经添加过，请勿重新添加
• 提交的sitemap格式不规范，请检查该数据格式，修改后重新提交

sitemap异常原因解释

sitemap异常原因	解释	解决方法
爬虫被封禁	可能是您的网站对Bytespider的UA或IP进行封禁	建议您根据我们公布的UA和IP进行解封，第二天重新抓取之后会恢复正常
sitemap文件数据量过大	可能是您的sitemap节点数量超过了1w个	建议您拆分为几个小的sitemap文件
sitemap地址非法	可能是您的sitemap地址不可访问或者存在xml和txt混合模式的数据	建议您按照我们的要求提交sitemap地址
站点服务不可用	我们请求您的网站3次后发现您的网站仍旧不可访问会暂时停止抓取，则返回该原因	请您检查服务器是否可正常运转，如果正常，等正常调度后正常抓取
sitemap地址不存在	可能是您的地址无法访问，返回404，我们获取不了任何信息	请您排查sitemap地址链接，等正常调度后可恢复正常抓取
xml文件数据量过大	可能是您的xml文件大小超过10M，item数目超过5w个	建议您拆分几个小的xml文件

sitemap相关QA

sitemap文件支持什么格式提交？

目前头条搜索sitemap支持xml格式提交，不支持单条链接提交及txt格式提交。

SEO项目

我提交时填写的周期是什么含义？

ByteSpider会参考设置周期抓取sitemap文件，因此请根据sitemap文件内容的更新（比如增加新url）来设置。请注意如果url不变仅是url对应的页面内容更新（比如UGC回答有新内容），不在此更新范围内，sitemap工具不能解决页面更新问题。

sitemap提交后，多久能被头条搜索处理？

sitemap数据提交后，一般在1小时内头条搜索就会开始处理，但抓取时间会以sitemap文件大小决定，如果遇到状态“等待”时间较长，可以观察一下。

提交的sitemap都会被头条搜索抓取并收录吗？

头条搜索对网站提交的数据，无法保证一定会抓取且收录所有网址，数据链接能否被收录与页面质量相关，可尽量避免低质内容提交。

sitemap的url链接可以包含中文吗？

不要有，“中文”无法解码。

为什么我提交的sitemap返回异常？

1. 封禁：如果返回状态为请求异常，请务必确认是否封禁头条搜索的出口ip和ua
2. 格式有误：请确认您的sitemap是否严格按照提交帮助中的格式生成，sitemapindex里面包含的xml也应以.xml结尾
3. 解析失败：解析失败只存在于xml格式，如果因为解析失败返回异常，请检查您的xml是否符合标准sitemap格式规范

创建Sitemap时有哪些注意事项

1. sitemapindex文件大小不得超过5M，sitemap节点数量不超过1w个。如果您的sitemap超过了这些限值，请将其拆分为几个小的sitemap。数据量限制有助于确保您的网络服务器不会因提供大文件而超负荷
2. 站点支持提交的sitemap文件个数必须少于1w个，多于1w个后会不再处理，并显示“sitemap文件数据量过大”
3. sitemap当前支持嵌套，第一层上限1w个xml，第二层每个xml最多放5w个url

提示

sitemap数据能帮助头条搜索改进抓取策略，不能承诺收录，也不能决定收录量级，不能决定搜索排名。