JS-Crawler 使用教程
js-crawlerWeb crawler for Node.JS项目地址:https://gitcode.com/gh_mirrors/js/js-crawler
项目介绍
JS-Crawler 是一个基于 JavaScript 的网页爬虫工具,旨在帮助开发者快速构建和部署网页爬取任务。该项目利用现代 JavaScript 技术栈,支持异步处理和高效的数据抓取。JS-Crawler 提供了丰富的功能,包括页面解析、链接提取、数据存储等,适用于各种网页爬取需求。
项目快速启动
安装
首先,克隆项目到本地:
git clone https://github.com/amoilanen/js-crawler.git
cd js-crawler
然后,安装依赖:
npm install
基本使用
以下是一个简单的示例,展示如何使用 JS-Crawler 爬取网页内容:
const Crawler = require('./js-crawler');
const crawler = new Crawler();
crawler.configure({
maxDepth: 2,
ignoreRelative: true,
obeyRobotsTxt: true
});
crawler.on('fetchcomplete', (url, responseBody, response) => {
console.log(`Fetched ${url}, status: ${response.statusCode}`);
console.log(`Body: ${responseBody.substring(0, 100)}...`);
});
crawler.crawl({
url: 'https://example.com',
onSuccess: (page) => {
console.log(`Crawled: ${page.url}`);
},
onFailure: (page) => {
console.log(`Failed to crawl: ${page.url}`);
}
});
应用案例和最佳实践
案例一:新闻网站爬取
假设我们需要从一个新闻网站爬取最新的新闻标题和链接。我们可以配置 JS-Crawler 来抓取特定页面,并提取所需信息。
const Crawler = require('./js-crawler');
const cheerio = require('cheerio');
const crawler = new Crawler();
crawler.configure({
maxDepth: 1,
ignoreRelative: true,
obeyRobotsTxt: true
});
crawler.on('fetchcomplete', (url, responseBody, response) => {
const $ = cheerio.load(responseBody);
$('.news-title').each((index, element) => {
console.log($(element).text());
console.log($(element).attr('href'));
});
});
crawler.crawl({
url: 'https://news-website.com',
onSuccess: (page) => {
console.log(`Crawled: ${page.url}`);
},
onFailure: (page) => {
console.log(`Failed to crawl: ${page.url}`);
}
});
案例二:电商网站价格监控
我们可以使用 JS-Crawler 定期爬取电商网站的商品价格,并进行监控和分析。
const Crawler = require('./js-crawler');
const cheerio = require('cheerio');
const crawler = new Crawler();
crawler.configure({
maxDepth: 1,
ignoreRelative: true,
obeyRobotsTxt: true
});
crawler.on('fetchcomplete', (url, responseBody, response) => {
const $ = cheerio.load(responseBody);
$('.product-price').each((index, element) => {
console.log(`Product: ${$(element).closest('.product-name').text()}`);
console.log(`Price: ${$(element).text()}`);
});
});
crawler.crawl({
url: 'https://ecommerce-website.com/products',
onSuccess: (page) => {
console.log(`Crawled: ${page.url}`);
},
onFailure: (page) => {
console.log(`Failed to crawl: ${page.url}`);
}
});
典型生态项目
Cheerio
Cheerio 是一个快速、灵活、轻量级的 jQuery 核心实现,适用于服务器端解析 HTML 和 XML 文档。JS-Crawler 经常与 Cheerio 结合使用,以便更方便地从网页中提取数据。
Puppeteer
Puppeteer 是一个 Node 库,提供了一个高级 API 来控制无头 Chrome 或 Chromium 浏览器。它可以用于自动化
js-crawlerWeb crawler for Node.JS项目地址:https://gitcode.com/gh_mirrors/js/js-crawler