Firecrawl 把任意网站变为 API 接口

irecrawl 号称 可以抓取任何网站并将其转换为干净的 markdown 或结构化数据。并且可以直接通过 Node 进行部署。

看这样的描述有点厉害了，所以，咱们今天就来看看这个 firecrawl

01：什么是 firecrawl

firecrawl 是一种 API 服务，它获取 URL、对其进行抓取并将其转换为干净的 markdown 或结构化数据。我们会抓取所有可访问的子页面并为您提供每个子页面的干净数据。无需站点地图。

目前 Firecrawl 开源 3周 的时间，已经有了 7.9K 的 star 数，可以说是一个优秀的项目了

02：如何使用 firecrawl

想要使用 firecrawl ，那么首先需要获取 API 秘钥。秘钥分为 收费 和 免费 两种，大家如果不在商业项目中使用，通过 免费计划 即可

获取秘钥在这里注册并获取：https://www.firecrawl.dev/pricing

有了秘钥之后，可以直接基于 Node 包创建项目即可：

1. 安装依赖包 npm install @mendable/firecrawl-js
2. 将 API 密钥设置为命名的环境变量FIRECRAWL_API_KEY或将其作为参数传递给FirecrawlApp类
3. 如要抓取单个 URL ，可直接通过 scrapeUrl 方法

try {
  const url = "https://exampl