大模型——Crawl4AI JavaScript 执行与数据过滤使用 AsyncWebCrawler

大模型——Crawl4AI JavaScript 执行与数据过滤使用 AsyncWebCrawler

在这个主题中，将详细介绍如何使用 Crawl4AI 的 AsyncWebCrawler 来执行 JavaScript 和使用 CSS 选择器进行数据过滤。将涵盖异步提取结构化数据的示例，实现余弦相似度提取策略，以及通过自定义会话维护状态。

1. 异步执行

在使用 AsyncWebCrawler 时，采用异步编程的方式，可以有效避免阻塞操作。以下是一个简单的示例，展示了如何通过异步方式执行网页爬取：

import asyncio
from crawl4ai import AsyncWebCrawler

async def main():
    async with AsyncWebCrawler(verbose=True) as crawler:
        result = await crawler.arun(url="https://example.com")
        print(result.html)

asyncio.run(main())

在这个示例中，async with 语法用于创建一个异步爬虫实例，arun() 方法用于访问指定的 URL 并提取 HTML 内容。<