nodejs crawler简单尝试

由于我在网上找不到crawler的相关介绍博客所以写了这一片文章

这是crawler在github上的地址
Github https://github.com/bda-research/node-crawler

简单使用

npm 安装：npm install crawler
new一个crawler对象

var c = new Crawler({
    encoding:null,
    jQuery:false,
    //在每个请求处理完毕后将调用此回调函数
    callback : function (error, res, done) {   
        if(error){
            console.log(error);
        }else{
            var $ = res.$;    
            //$ 默认为 Cheerio 解析器
            //它是核心jQuery的精简实现，可以按照jQuery选择器语法快速提取DOM元素
            console.log($("title").text());
        }
        done();
    }
});

然后往crawler队列里面不停的加url就行了，

//将一个URL加入请求队列，并使用默认回调函数
c.queue('http://www.amazon.com');

//将多个URL加入请求队列
c.queue(['http://www.google.com/','http://www.yahoo.com']);

控制并发速度

爬虫框架一般都是同时去爬多个页面，但是速度过快会触发目标网站的反爬虫机制，也同时影响别人网站的性能。

控制最大的并发数量

var c = new Crawler({
    // 最大并发数默认为10
    maxConnections : 1,
    callback : function (error, res, done) {
        if(error){
            console.log(error);
        }else{
            var $ = res.$;
            console.log($("title").text());
        }
        done();
    }
});

使用慢速模式
使用参数 rateLimit 启用慢速模式，两次请求之间会闲置 rateLimit 毫秒，而 maxConnections 将被强行修改为 1 。

var c = new Crawler({
    // `maxConnections` 将被强制修改为 1
    maxConnections : 10,    
    // 两次请求之间将闲置1000ms
    rateLimit: 1000,
    callback : function (error, res, done) {
        if(error){
            console.log(error);
        }else{
            var $ = res.$;
            console.log($("title").text());
        }
        done();
    }
});

下载图片等静态文件

var c = new Crawler({    
    encoding:null,
    jQuery:false,
	// set false to suppress warning message.
    callback:function(err, res, done){
        if(err){
            console.error(err.stack);
        }else{
            fs.createWriteStream(res.options.filename).write(res.body);
        }
        
        done();
    }
});

c.queue({    
    uri:"https://nodejs.org/static/images/logos/nodejs-1920x1200.png",
    filename:"nodejs-1920x1200.png"
});