python网站地图解析

分析： ⽹站的地图（sitemap.xml）是⼀个XML⽂件，列出了⽹站上所有可访问的⻚⾯的URL。解析⽹站的地图可以⾼效地发现⽹站上所有的⻚⾯，特别是那些可能不容易通过常规爬⾍发现的⻚⾯。 #

Python代码：

        以下是⼀个使⽤Python解析⽹站地图并抓取所有链接的⽰例

        这个⽰例使⽤了 requests 来获取sitemap.xml⽂件的内容，以及 xml.etree.ElementTree 来解析XML。

import requests
import xml.etree.ElementTree as ET

def fetch_sitemap(url):
    """获取并解析给定⽹站的sitemap.xml"""
    response = requests.get(url)
    # 检查请求是否成功
    if response.status_code == 200:
        # 解析XML
        root = ET.fromstring(response.content)
        links = []
        for sitemap in root.findall("{http://www.sitemaps.org/schemas/sitemap/0.9}url"):
            loc = sitemap.find("{http://www.sitemaps.org/schemas/sitemap/0.9}loc").text
            links.append(loc)
        return links
    else:
        print(f"获取sitemap失败，状态码: {response.status_code}")
        return []

# ⽹站的sitemap.xml URL
sitemap_url = 'http://example.com/sitemap.xml'
links = fetch_sitemap(sitemap_url)

print(f"从 {sitemap_url} 获取到的链接：")
for link in links:
    print(link)

在这个脚本中：

 • fetch_sitemap 函数接受⼀个指向⽹站sitemap.xml⽂件的URL。它使⽤ requests.get 发送⼀个GET请求以获取⽂件的内容。

 • 使⽤ xml.etree.ElementTree.fromstring 解析XML内容。然后，遍历所有的 <url> 标签，提取出其中的 <loc> 标签中的⽂本，这通常是⻚⾯的URL。

 • 最后，打印出解析到的所有链接。请注意，这个脚本假设了sitemap.xml遵循Sitemap协议，并使⽤了标准的命名空间http://www.sitemaps.org/schemas/sitemap/0.9 。实际的sitemap.xml⽂件可能会包含多个sitemap索引⽂件的链接，特别是在⼤型⽹站上，这种情况下，可能需要递归地处理这些索引⽂件来获取全部的⻚⾯链接。