分享一个写的node RSS爬虫，以及主要实现流程

最新推荐文章于 2024-10-31 16:04:07 发布

weixin_34010566

最新推荐文章于 2024-10-31 16:04:07 发布

阅读量351

点赞数

文章标签：爬虫数据库 java

原文链接：https://segmentfault.com/a/1190000002759315

版权

前言

为了更好分享和发布自己的内容，现在提供RSS服务的网站和社区非常之多，现在基于python，java等平台的RSS爬虫非常之多，所以结合node高并发特性，自己用node写了一个RSS爬虫——rss-worker。

简介

rss-worker是一个持久的可配的rss爬虫。支持多URL的并行爬取，并且会将所有条目按时间顺序进行保存，保存格式为"时间\n标题\n内容\n\n"来供使用或分析，支持的保存方式有fs与mongodb。

结果演示

一个抓取https://github.com/alsotang.atom，https://cnodejs.org/rss，http://segmentfault.com/feeds/blogs内容24小时的输出（2015/5/6 19:30至2015/5/7 19:30 ）：

点这里

源码地址：这里，欢迎来star，follow。

主要流程

爬取：并发地对所有指定URL使用superagent发送请求，并在所有URL全部爬取完毕后根据指定间隔再次发出爬取请求

结果更新：在内存中缓存了一个lastUpdate字段，与每次的爬取结果作比对

支持fs和mongo存储：利用persistence层提供统一接口，对外隐藏不同实现

安装使用

直接通过npm：

SHELLnpm install rss-worker --save

示例

jsvar RssWorker = require('rss-worker');

var opt = {
  urls: ['https://cnodejs.org/rss', 'https://github.com/DavidCai1993.atom', 'http://segmentfault.com/feeds'],
  store: {
    type: 'fs',
    dist: './store/rss.txt'
  },
  timeout: 10
};

var rssWorker = new RssWorker(opt);
rssWorker.start();

API

new RssWorker(options)

生成一个RssWorker的实例

options:

urls(Array) - 必选，需要抓取的rss地址的数组
store(Object) - 存储方式，需要配置type与dist两属性
- type - 存储方式，可选fs（默认）或mongodb
- dist - 存储结果的文件地址（将会自动创建），如：./store/rss.txt（fs），mongodb://localhost:27017/rss_worker（mongodb）
timeout(Number) - 每次抓取的间隔（秒），默认为60秒

start()

开始抓取

forceToEnd()

发出停止抓取信号，将不会继续抓取，但不会影响到正在进行的本次抓取。