探索PlayWright Browser Toolkit：与动态网站的交互

jaioyfpo

于 2024-10-08 09:32:19 发布

阅读量71

点赞数

文章标签：交互 python

本文链接：https://blog.csdn.net/jaioyfpo/article/details/142751739

版权

# 探索PlayWright Browser Toolkit：与动态网站的交互

## 引言

在AI和编程领域中，自动化与动态网页交互已经成为开发者的重要任务。虽然诸如Requests这样的工具在处理静态网站时很有用，但对于动态渲染网站，PlayWright Browser Toolkit无疑是更强大的选择。本篇文章将带您深入了解PlayWright Browser Toolkit的使用，并提供实用的代码示例。

## 主要内容

### PlayWright Browser Toolkit简介

PlayWright Browser Toolkit是一套用于浏览器交互的工具集，支持多种操作，如导航、点击、文本提取等。以下是其中一些关键工具：

- **NavigateTool**: 导航到指定URL。
- **NavigateBackTool**: 返回前一个页面。
- **ClickTool**: 点击页面元素。
- **ExtractTextTool**: 从当前页面中提取文本。
- **ExtractHyperlinksTool**: 提取页面中的超链接。
- **GetElementsTool**: 使用CSS选择器选择元素。
- **CurrentPageTool**: 获取当前页面的URL。

### 安装PlayWright

在开始之前，请确保已安装PlayWright。使用以下命令进行安装：

```shell
%pip install --upgrade --quiet playwright > /dev/null
%pip install --upgrade --quiet lxml

# 如果是首次使用PlayWright，需要安装浏览器可执行文件。
# playwright install

使用Toolkits与Agent

在Jupyter Notebook中使用PlayWright需要一些特殊设置。以下是初始化浏览器和工具包的示例：

import nest_asyncio
from langchain_community.agent_toolkits import PlayWrightBrowserToolkit
from langchain_community.tools.playwright.utils import create_async_playwright_browser

nest_asyncio.apply()

# 创建异步浏览器
async_browser = create_async_playwright_browser()
toolkit = PlayWrightBrowserToolkit.from_browser(async_browser=async_browser)
tools = toolkit.get_tools()

使用示例

下面是一个使用NavigateTool和GetElementsTool的示例，演示如何导航到一个网页并提取内容：

tools_by_name = {tool.name: tool for tool in tools}
navigate_tool = tools_by_name["navigate_browser"]
get_elements_tool = tools_by_name["get_elements"]

# 导航到指定URL
await navigate_tool.arun(
    {"url": "https://web.archive.org/web/20230428133211/https://cnn.com/world"}
)

# 提取页面中的标题
results = await get_elements_tool.arun(
    {"selector": ".container__headline", "attributes": ["innerText"]}
)

# 打印结果
print(results)