Firecrawl 开源项目使用教程

Firecrawl 开源项目使用教程

firecrawl🔥 Turn entire websites into LLM-ready markdown项目地址:https://gitcode.com/gh_mirrors/fi/firecrawl

1. 项目的目录结构及介绍

Firecrawl 项目的目录结构如下：

mendableai/firecrawl/
├── examples/
├── gitattributes
├── gitignore
├── CONTRIBUTING.md
├── LICENSE
├── README.md
├── SELF_HOST.md
├── docker-compose.yaml
└── ...

• examples/: 包含一些示例代码和配置文件。
• gitattributes: Git 属性配置文件。
• gitignore: Git 忽略配置文件。
• CONTRIBUTING.md: 贡献指南文档。
• LICENSE: 项目许可证文件，主要使用 GNU Affero General Public License v3.0 (AGPL-3.0)。
• README.md: 项目介绍和使用说明。
• SELF_HOST.md: 自托管指南文档。
• docker-compose.yaml: Docker 配置文件，用于启动项目。

2. 项目的启动文件介绍

Firecrawl 项目的启动文件主要是 docker-compose.yaml，它包含了启动项目所需的所有服务和配置。以下是 docker-compose.yaml 的主要内容：

version: '3.8'
services:
  firecrawl:
    image: mendableai/firecrawl:latest
    ports:
      - "8080:8080"
    environment:
      - FIRECRAWL_API_KEY=YOUR_API_KEY
    volumes:
      - ./data:/app/data

• version: Docker Compose 文件版本。
• services: 定义了需要启动的服务。
  • firecrawl: 服务名称。
    • image: 使用的 Docker 镜像。
    • ports: 端口映射。
    • environment: 环境变量，包括 API 密钥。
    • volumes: 数据卷映射。

3. 项目的配置文件介绍

Firecrawl 项目的配置文件主要包括 docker-compose.yaml 和 SELF_HOST.md。

• docker-compose.yaml: 如上所述，包含了启动项目所需的服务和环境配置。
• SELF_HOST.md: 自托管指南文档，提供了自托管项目的详细步骤和配置说明。

通过这些配置文件，用户可以轻松地启动和配置 Firecrawl 项目，实现网站的爬取和数据提取。

firecrawl🔥 Turn entire websites into LLM-ready markdown项目地址:https://gitcode.com/gh_mirrors/fi/firecrawl