node-scraper: 一个强大的网页抓取工具-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00004/article/details/136585209

node-scraper: 一个强大的网页抓取工具

node-scraperEasier web scraping using node.js and jQuery项目地址:https://gitcode.com/gh_mirrors/no/node-scraper

项目简介

是一个基于 Node.js 的网页抓取库，可以帮助开发者轻松地从网站中提取数据，并将其存储为 JSON、CSV 或其他格式。

有了 node-scraper，你可以：

快速抓取网页上的信息，如新闻标题、产品价格、评论等。
提取 HTML 中的特定元素或属性值。
自定义抓取规则，满足不同的需求。
支持多线程抓取，提高抓取速度。
轻松处理 AJAX 请求和异步加载的内容。

功能特点

以下是 node-scraper 的一些主要特点：

易于使用

node-scraper 非常易于上手。只需要安装并导入库，然后调用相应的函数即可开始抓取。此外，它还提供了丰富的文档和示例代码，帮助你快速掌握使用方法。

const scraper = require('node-scraper');

(async () => {
  const data = await scraper.getHTML('https://example.com');
  console.log(data);
})();

强大而灵活的 API

node-scraper 提供了一系列实用的函数，可以帮助你实现各种复杂的抓取任务。例如，你可以使用 getHTML 函数获取完整的页面源码；使用 getElementByCSS 函数根据 CSS 选择器提取单个元素；使用 getElementsByCSS 函数根据 CSS 选择器提取多个元素。

此外，node-scraper 还支持自定义回调函数，使你可以对抓取到的数据进行更详细的处理。

const scraper = require('node-scraper');

(async () => {
  const html = await scraper.getHTML('https://example.com');
  const elements = await scraper.getElementsByCSS(html, 'h1.title');
  
  for (const element of elements) {
    const title = scraper.getText(element);
    console.log(title);
  }
})();

支持多线程

node-scraper 支持多线程抓取，可以显著提高抓取速度。只需指定 numThreads 参数即可启用多线程。

const scraper = require('node-scraper');

(async () => {
  const data = await scraper.getHTML('https://example.com', { numThreads: 4 });
  console.log(data);
})();

处理 AJAX 和异步内容

当遇到 AJAX 请求和异步加载的内容时，node-scraper 可以通过模拟浏览器行为来获取完整的信息。只需设置 fetchJS 参数即可开启 JavaScript 执行。

const scraper = require('node-scraper');

(async () => {
  const data = await scraper.getHTML('https://example.com', { fetchJS: true });
  console.log(data);
})();

支持多种输出格式

除了默认的字符串格式外，node-scraper 还支持将抓取到的数据导出为 JSON、CSV 等格式。只需提供一个可写流对象即可完成输出。

const fs = require('fs');
const scraper = require('node-scraper');

(async () => {
  const stream = fs.createWriteStream('output.csv');
  await scraper.scrape('https://example.com', { selector: '.list-item' }, items => {
    for (const item of items) {
      stream.write(`${item.name}, ${item.price}\n`);
    }
  });
})();