irecrawl 号称 可以抓取任何网站并将其转换为干净的 markdown 或结构化数据。并且可以直接通过 Node 进行部署。
看这样的描述有点厉害了,所以,咱们今天就来看看这个 firecrawl
01:什么是 firecrawl
firecrawl 是一种 API 服务,它获取 URL、对其进行抓取并将其转换为干净的 markdown 或结构化数据。我们会抓取所有可访问的子页面并为您提供每个子页面的干净数据。无需站点地图。
目前 Firecrawl 开源 3周 的时间,已经有了 7.9K 的 star 数,可以说是一个优秀的项目了
02:如何使用 firecrawl
想要使用 firecrawl ,那么首先需要获取 API 秘钥。秘钥分为 收费 和 免费 两种,大家如果不在商业项目中使用,通过 免费计划 即可
获取秘钥在这里注册并获取:https://www.firecrawl.dev/pricing
有了秘钥之后,可以直接基于 Node 包创建项目即可:
- 安装依赖包 npm install @mendable/firecrawl-js
- 将 API 密钥设置为命名的环境变量FIRECRAWL_API_KEY或将其作为参数传递给FirecrawlApp类
- 如要抓取单个 URL ,可直接通过 scrapeUrl 方法
try {
const url = "https://exampl