抓取任何网站并将其转换为 Markdown

抓取任何网站并将其转换为 Markdown

Firecrawl是一个API服务，接受一个URL，对其进行爬取，并为每个页面生成干净的markdown。它会爬取所有可访问的子页面，并为您提供每个页面的干净markdown，无需站点地图。

安装Python SDK

pip install firecrawl-py

抓取网站

from firecrawl import FirecrawlApp

app = FirecrawlApp(api_key="YOUR_API_KEY")

crawl_result = app.crawl_url('mendable.ai', {'crawlerOptions': {'excludes': ['blog/*']}})

# Get the markdown
for result in crawl_result:    print(result['markdown'])

抓取 URL

要抓取单个 URL，请使用scrape_url方法。它将 URL 作为参数，并将抓取的数据作为字典返回。

url = 'https://example.com'
scraped_data = app.scrape_url(url)

🌐Github地址：
https://github.com/mendableai/firecrawl
🌐在线体验：
https://www.firecrawl.dev/