抽取百度收录链接(一)

最新推荐文章于 2024-07-04 16:04:39 发布

weixin_34234829

最新推荐文章于 2024-07-04 16:04:39 发布

阅读量769

点赞数

文章标签： python 网络

原文链接：https://my.oschina.net/u/265943/blog/292905

版权

2019独角兽企业重金招聘Python工程师标准>>>

抽取百度搜索链接。

小站域名。以前好似一个织梦的站点，在百度和gg上收录收录了大量的内容页。现在将他替换为我的blog域名;但是这些以前收录的页面都3个月了，还在被百度不停的抓取。严重影响了正常文章的收录.在百度站长工具(数据提交-死链提交)里发现可以将网站内的404、403、503等状态提交上去，防止百度收录。

先看下百度对这块的说明：详细可参见死链提交工具帮助

一、什么是死链？页面已经无效，无法对用户提供任何有价值信息的页面就是死链接，包括协议死链和内容死链两种形式。 1.协议死链：页面的TCP协议状态/HTTP协议状态明确表示的死链，常见的如404、403、503状态等。 2.内容死链：服务器返回状态是正常的，但内容已经变更为不存在、已删除或需要权限等与原内容无关的信息页面。二、为什么要使用死链提交工具？当网站死链数据累积过多时，并且被展示到搜索结果页中，对网站本身的访问体验和用户转化都起到了负面影响。另一方面，百度检查死链的流程也会为网站带来额外负担，影响网站其他正常页面的抓取和索引。三、如何使用死链提交工具？第一步，处理网站已存在的死链，制作死链文件筛查网站内部存在的死链，并将这些死链页面设置成为404页面，即百度访问它们时返回404代码。将需提交的死链列表制作成一个死链文件，制作方法请参阅帮助文档（与sitemap格式及制作方法一致）第二步，将死链文件放置在网站根目录下比如您的网站为example.com，您已制作了一个silian_example.xml死链文件，则将silian_example.xml上传至网站根目录即example.com/silian_example.xml 第三步，登录百度站长平台第四步，提交网站并验证归属：具体验证网站归属方法可见帮助文档第五步，提交死链数据 1.选中左侧“死链提交” 2.点击右侧“添加新数据” 3.提交死链文件：填写死链文件地址（如：www.example.com/silian_example.xml），选择更新时间，进行提交 4.管理已提交的死链列表提交完之后，可在死链工具列表里看到提交的死链文件，如果死链文件里面有新的死链，可以选择文件后，点击更新所选，即对更新的死链链接进行了提交

好了。看了百度官方的文档，我们可以知道，百度对死链的处理就是将所有死链写入一个xml文档中。然后在百度蜘蛛爬去网站的时候就不会再去爬去这些页面。首先我们需要获取百度收录了哪些死链。百度搜索：site:xxku.net 会看到百度收录本站的页面。里面很多都是以前老网站的内容页。现在点进去都是404;