Firecrawl源码getCachedDocuments类源码解读与实战应用-CSDN博客

本文链接：https://blog.csdn.net/ylong52/article/details/141226032

“深入解析Firecrawl源码：打造高效网页抓取工具” —— 本文将带你深入探讨scrapWithPlaywright类的源码，解析其如何通过不同的抓取模式（单URL、站点地图、爬取模式）实现高效网页数据抓取。我们将逐一分析关键功能，助你掌握网页抓取的核心技术，轻松应对各类数据采集需求

/**
 * Scrapes a URL with Playwright
 * @param url The URL to scrape
 * @param waitFor The time to wait for the page to load
 * @param headers The headers to send with the request
 * @param pageOptions The options for the page
 * @returns The scraped content
 */
export async function scrapWithPlaywright(
  url: string,
  waitFor: number = 0,
  headers?: Record<string, string>,
  pageOptions: { parsePDF?: boolean } = { parsePDF: true }
): Promise<{ content: string; pageStatusCode?: number; pageError?: string }> {
  const logParams = {
    url,
    scraper: "playwright",
    success: false,
    response_code: null,
    time_taken_seconds: null,
    error_message: null,
    html: "",
    startTime: Date.now(),
  };

  try {
    const reqParams = await generateRequestParams(url);
    // If the user has passed a wait parameter in the request, use that
    const waitParam = reqParams["params"]?.wait ?? waitFor;

    const response = await axios.post(
      process.env.PLAYWRIGHT_MICROSERVICE_URL,
      {
        url: url,
        wait_after_load: waitParam,
        headers: headers,
      },
      {
        headers: {
          "Content-Type": "application/json",
        },
        timeout: universalTimeout + waitParam, // Add waitParam to timeout to account for the wait time
        transformResponse: [(data) => data], // Prevent axios from parsing JSON automatically
      }
    );

    if (response.status !== 200) {
      Logger.debug(
        `⛏️ Playwright: Failed to fetch url: ${url} | status: ${response.status}, error: ${response.data?.pageError}`
      );
      logParams.error_message = response.data?.pageError;
      logParams.response_code = response.data?.pageStatusCode;
      return {
        content: "",
        pageStatusCode: response.data?.pageStatusCode,
        pageError: response.data?.pageError,
      };
    }

    const contentType = response.headers["content-type"];
    if (contentType && contentType.includes("application/pdf")) {
      logParams.success = true;
      const { content, pageStatusCode, pageError } = await fetchAndProcessPdf(url, pageOptions?.parsePDF);
      logParams.response_code = pageStatusCode;
      logParams.error_message = pageError;
      return { content, pageStatusCode, pageError };
    } else {
      const textData = response.data;
      try {
        const data = JSON.parse(textData);
        const html = data.content;
        logParams.success = true;
        logParams.html = html;
        logParams.response_code = data.pageStatusCode;
        logParams.error_message = data.pageError;
        return {
          content: html ?? "",
          pageStatusCode: data.pageStatusCode,
          pageError: data.pageError,
        };
      } catch (jsonError) {
        logParams.error_message = jsonError.message || jsonError;
        Logger.debug(
          `⛏️ Playwright: Error parsing JSON response for url: ${url} | Error: ${jsonError}`
        );
        return { content: "", pageStatusCode: null, pageError: logParams.error_message };
      }
    }
  } catch (error) {
    if (error.code === "ECONNABORTED") {
      logParams.error_message = "Request timed out";
      Logger.debug(`⛏️ Playwright: Request timed out for ${url}`);
    } else {
      logParams.error_message = error.message || error;
      Logger.debug(`⛏️ Playwright: Failed to fetch url: ${url} | Error: ${error}`);
    }
    return { content: "", pageStatusCode: null, pageError: logParams.error_message };
  } finally {
    const endTime = Date.now();
    logParams.time_taken_seconds = (endTime - logParams.startTime) / 1000;
    await logScrape(logParams);
  }
}

这段TypeScript代码定义了一个名为scrapWithPlaywright的异步函数，用于使用Playwright库从一个给定的URL抓取内容。该函数接受多个参数，包括URL、等待时间、请求头和页面选项，并返回一个包含抓取内容的对象。下面是对代码的详细解释：

函数参数

url: string：要抓取的网页URL。
waitFor: number = 0：等待页面加载的时间，默认为0。
headers?: Record<string, string>：发送请求时使用的HTTP头，默认为空。
pageOptions: { parsePDF?: boolean } = { parsePDF: true }：页面选项，其中parsePDF是一个布尔值，指示是否解析PDF内容，默认为true。

返回值

函数返回一个Promise，解析为一个对象，包含以下属性：

content: string：抓取到的内容。
pageStatusCode?: number：页面状态码，如果请求失败则为undefined。
pageError?: string：页面错误信息，如果请求成功则为undefined。

实现原理

初始化日志参数：函数开始时，初始化一个日志参数对象logParams，用于记录抓取过程中的各种信息，如URL、抓取器类型、成功状态、响应码、耗时等。
生成请求参数：调用generateRequestParams函数生成请求参数，如果请求参数中包含等待时间，则使用该时间，否则使用函数参数中的等待时间。
发送请求：使用axios.post方法向Playwright微服务发送POST请求，请求体包含URL、等待时间和请求头。设置请求头为application/json，并设置超时时间为universalTimeout + waitParam，以适应等待时间。
处理响应：
- 如果响应状态码不是200，记录错误信息并返回空内容。
- 如果响应内容是PDF，调用fetchAndProcessPdf函数处理PDF内容。
- 如果响应内容是JSON，尝试解析JSON并提取HTML内容，记录成功信息并返回。
错误处理：如果请求过程中发生错误，记录错误信息并返回空内容。
记录日志：无论请求成功与否，记录抓取过程中的日志信息，包括耗时等。