x-crawl学习资料汇总 - 灵活的Node.js AI辅助爬虫库

本文链接：https://blog.csdn.net/Nifc666/article/details/142389087

x-crawl简介

x-crawl是一个灵活的Node.js AI辅助爬虫库。它具有灵活的使用方式和强大的AI辅助功能,使爬虫工作更加高效、智能和便捷。

x-crawl主要由两部分组成:

爬虫: 包含爬虫API和各种功能,即使不依赖AI也可以正常工作。
AI: 目前基于OpenAI提供的大型AI模型,AI简化了许多繁琐的操作。

x-crawl示例

主要特性

🤖 AI辅助 - 强大的AI辅助功能使爬虫工作更高效、智能和便捷。
🖋️ 灵活编写 - 单一的爬取API适用于多种配置,每种配置方法都有其优势。
⚙️ 多种用途 - 支持爬取动态页面、静态页面、接口数据和文件数据。
⚒️ 控制页面 - 爬取动态页面支持自动化操作、键盘输入、事件操作等。
👀 设备指纹 - 零配置或自定义配置,避免指纹识别以防止从不同位置识别和跟踪我们。
🔥 异步同步 - 无需切换爬取API即可实现异步或同步爬取模式。
⏱️ 间隔爬取 - 无间隔、固定间隔和随机间隔,决定是否高并发爬取。
🔄 失败重试 - 自定义重试次数,避免因临时问题导致爬取失败。
➡️ 轮换代理 - 失败重试时自动轮换代理,可自定义错误次数和HTTP状态码。
🚀 优先队列 - 基于单个爬取目标的优先级,可以先于其他目标爬取。
🧾 爬取信息 - 可控的爬取信息,会在终端输出彩色字符串信息。
🦾 TypeScript - 自带类型定义,通过泛型实现完整的类型。

学习资源

官方文档
- 英文文档
- 中文文档
GitHub仓库
- x-crawl GitHub
示例代码
x-crawl提供了详细的示例代码,展示了如何结合爬虫和AI进行高效爬取:

import { createCrawl, createCrawlOpenAI } from 'x-crawl'

// 创建爬虫应用
const crawlApp = createCrawl({
  maxRetry: 3,
  intervalTime: { max: 2000, min: 1000 }
})

// 创建AI应用
const crawlOpenAIApp = createCrawlOpenAI({
  clientOptions: { apiKey: process.env['OPENAI_API_KEY'] },
  defaultModel: { chatModel: 'gpt-4-turbo-preview' }
})

// crawlPage用于爬取页面
crawlApp.crawlPage('https://www.airbnb.cn/s/select_homes').then(async (res) => {
  const { page, browser } = res.data

  // 等待元素出现在页面上并获取HTML
  const targetSelector = '[data-tracking-id="TOP_REVIEWED_LISTINGS"]'
  await page.waitForSelector(targetSelector)
  const highlyHTML = await page.$eval(targetSelector, (el) => el.innerHTML)

  // 让AI获取图片链接并去重
  const srcResult = await crawlOpenAIApp.parseElements(
    highlyHTML,
    `Get the image link, don't source it inside, and de-duplicate it`
  )

  browser.close()

  // crawlFile用于爬取文件资源
  crawlApp.crawlFile({
    targets: srcResult.elements.map((item) => item.src),
    storeDirs: './upload'
  })
})