利用Python3分析sitemap.xml并抓取导出全站链接详解

最新推荐文章于 2024-08-18 23:39:29 发布

易旧朽*

最新推荐文章于 2024-08-18 23:39:29 发布

阅读量1.8k

点赞数

分类专栏： python3教程文章标签：编程语言 python

本文链接：https://blog.csdn.net/haoxun06/article/details/104383575

版权

因为最近更换了网址，所以需要在百度站长平台提交网址，不管是主动推送还是手动提交，前提都是要整理网站的链接，手动添加太麻烦，于是就想写个脚本直接抓取全站链接并导出，本文详细介绍的是实现的方法及过程，需要的朋友们一起来看看吧。
前言

最近网站从HTTPS转为HTTP，更换了网址，旧网址做了301重定向，折腾有点大，于是在百度站长平台提交网址，不管是主动推送还是手动提交，前提都是要整理网站的链接，手动添加太麻烦，效率低，于是就想写个脚本直接抓取全站链接并导出，本文就和大家一起分享如何使用python3实现抓取链接导出。在这里插入图片描述
首先网站要有网站地图sitemap.xml文件地址，其次我这里用的是python3版本，如果你的环境是python2，需要对代码进行调整，因为python2和python3很多地方差别还是挺大的。

下面是python 3代码，将里面的链接地址换成你自己的网址即可：

#coding=utf-8
import urllib
import urllib.request import re
url='http://www.ranzhi.org/sitemap.xml'
html=urllib.request.urlopen(url).read()
html=html.decode('utf-8')
r=re.compile(r'(http://www.ranzhi.org.*?\.html)')
big=re.findall(r,html)
for i i