基于nodejs的网络图片爬虫

                       

这是我研究nodejs爬虫后写的一个图片爬虫小例子。不过功能还是挺强大的可以将你喜欢的图片下载下来。
主要的爬虫代码：

//var http = require('https');var http = require('http');var fs = require('fs');var cheerio = require('cheerio');var request = require('request');//设置循环var i = 0;//初始url var url = "http://m.juyouqu.com/qu/3187982"; function startSpider(x) {    console.log('向目标站点发送请求');    //采用http模块向服务器发起一次get请求          http.get(x, function (res) {             var html = '';        //用来存储请求网页的整个html内容        var titles = [];                res.setEncoding('utf-8'); //防止中文乱码        //监听data事件，每次取一块数据        res.on('data', function (chunk) {               html += chunk;            //console.log(chunk)        });        //监听end事件，如果整个网页内容的html都获取完毕，就执行回调函数        res.on('end', function () {         var $ = cheerio.load(html); //采用cheerio模块解析html         //console.log('html',html)         var news_item = {            //获取文章的标题            title: $('.item-title').text().trim(),            imgSrc: $('.post-container img').attr('src'),            link: $(".button").attr('href'),//            //i是用来判断获取了多少篇文章            i: i = i + 1,                 };        console.log(news_item);        var news_title = $('.item-title').text().trim();        savedImg($,news_title);    //存储每篇文章的图片及图片标题        //下一篇文章的url        var nextLink="http://m.juyouqu.com" + $(".button").attr('href');        //这是亮点之一，通过控制I,可以控制爬取多少篇文章.        if (i <= 10) {                            setTimeout(function(){                startSpider(nextLink);            },300)        }        });    }).on('error', function (err) {        console.log(err);    });}//该函数的作用：在本地存储所爬取到的图片资源function savedImg($,news_title) {    $('.post-container img').each(function (index, item) {        var img_title = news_title+index;        var img_filename = img_title + '.jpg';        var img_src = $(this).attr('src'); //获取图片的url        //采用request模块，向服务器发起一次请求，获取图片资源        request.head(img_src,function(err,res,body){            if(err){                console.log(err);            }        });        request(img_src).pipe(fs.createWriteStream('./image/'+news_title + '---' + img_filename));     //通过流的方式，把图片写到本地/image目录下，并用新闻的标题和图片的标题作为图片的名称。    })}startSpider(url);      //主程序开始运行
  
  
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67

运行的截图：

获得的图片:

如果看不懂，或者配置不了的话，可以下载我的资源包，整个项目的完整代码我都放上去了。
这是资源地址
（解压后，如果node_modules里面你文件路径与你电脑的路径不符，你可以删除了node_modules这个文件然后在运行一下npm install就可以了）