JS-Crawler 使用教程

JS-Crawler 使用教程

js-crawlerWeb crawler for Node.JS项目地址:https://gitcode.com/gh_mirrors/js/js-crawler

项目介绍

JS-Crawler 是一个基于 JavaScript 的网页爬虫工具，旨在帮助开发者快速构建和部署网页爬取任务。该项目利用现代 JavaScript 技术栈，支持异步处理和高效的数据抓取。JS-Crawler 提供了丰富的功能，包括页面解析、链接提取、数据存储等，适用于各种网页爬取需求。

项目快速启动

安装

首先，克隆项目到本地：

git clone https://github.com/amoilanen/js-crawler.git
cd js-crawler

然后，安装依赖：

npm install

基本使用

以下是一个简单的示例，展示如何使用 JS-Crawler 爬取网页内容：

const Crawler = require('./js-crawler');

const crawler = new Crawler();

crawler.configure({
  maxDepth: 2,
  ignoreRelative: true,
  obeyRobotsTxt: true
});

crawler.on('fetchcomplete', (url, responseBody, response) => {
  console.log(`Fetched ${url}, status: ${response.statusCode}`);
  console.log(`Body: ${responseBody.substring(0, 100)}...`);
});

crawler.crawl({
  url: 'https://example.com',
  onSuccess: (page) => {
    console.log(`Crawled: ${page.url}`);
  },
  onFailure: (page) => {
    console.log(`Failed to crawl: ${page.url}`);
  }
});

应用案例和最佳实践

案例一：新闻网站爬取

假设我们需要从一个新闻网站爬取最新的新闻标题和链接。我们可以配置 JS-Crawler 来抓取特定页面，并提取所需信息。

const Crawler = require('./js-crawler');
const cheerio = require('cheerio');

const crawler = new Crawler();

crawler.configure({
  maxDepth: 1,
  ignoreRelative: true,
  obeyRobotsTxt: true
});

crawler.on('fetchcomplete', (url, responseBody, response) => {
  const $ = cheerio.load(responseBody);
  $('.news-title').each((index, element) => {
    console.log($(element).text());
    console.log($(element).attr('href'));
  });
});

crawler.crawl({
  url: 'https://news-website.com',
  onSuccess: (page) => {
    console.log(`Crawled: ${page.url}`);
  },
  onFailure: (page) => {
    console.log(`Failed to crawl: ${page.url}`);
  }
});

案例二：电商网站价格监控

我们可以使用 JS-Crawler 定期爬取电商网站的商品价格，并进行监控和分析。

const Crawler = require('./js-crawler');
const cheerio = require('cheerio');

const crawler = new Crawler();

crawler.configure({
  maxDepth: 1,
  ignoreRelative: true,
  obeyRobotsTxt: true
});

crawler.on('fetchcomplete', (url, responseBody, response) => {
  const $ = cheerio.load(responseBody);
  $('.product-price').each((index, element) => {
    console.log(`Product: ${$(element).closest('.product-name').text()}`);
    console.log(`Price: ${$(element).text()}`);
  });
});

crawler.crawl({
  url: 'https://ecommerce-website.com/products',
  onSuccess: (page) => {
    console.log(`Crawled: ${page.url}`);
  },
  onFailure: (page) => {
    console.log(`Failed to crawl: ${page.url}`);
  }
});

典型生态项目

Cheerio

Cheerio 是一个快速、灵活、轻量级的 jQuery 核心实现，适用于服务器端解析 HTML 和 XML 文档。JS-Crawler 经常与 Cheerio 结合使用，以便更方便地从网页中提取数据。

Puppeteer

Puppeteer 是一个 Node 库，提供了一个高级 API 来控制无头 Chrome 或 Chromium 浏览器。它可以用于自动化

js-crawlerWeb crawler for Node.JS项目地址:https://gitcode.com/gh_mirrors/js/js-crawler