手把手教你做爬虫---基于NodeJs

原创 2016年03月07日 16:56:54

前言: 好久没更新博客了,内疚感十足,趁着北京今儿天气格外的蓝,我觉得我得干点什么,于是乎,卷起袖子,整理一下最近做爬虫的那些事儿。


目标:爬取北京大学软件与微电子学院的所有新闻,并将内容及图片存储到本地

设计思路:经过对北京大学软件与微电子学院的新闻网址http://www.ss.pku.edu.cn/index.php/newscenter/news/内容及网页格式的分析,我发现了这样一个规律:在每篇文章中,都会有下一篇文章url的链接。所以,我的做法是:给定一个初始(最新的)网页的url,如http://www.ss.pku.edu.cn/index.php/newscenter/news/2391,然后进行一次请求,爬取到下一篇文章的url,用新的url再继续请求,递归调用,直到遍历完所有的新闻网页。值得一提的是,我的亮点之一,是可以通过控制一个变量i,来控制爬取文章的数量。


神奇的旅程即将开启 ….


步骤1:正所谓“工欲善其事,必先利其器”

安装包我就无私地贡献出来:“http://pan.baidu.com/s/1i4uQcLZ

1)下载nodejs
2)下载javaScript编辑器webStorm

如果你是个聪明的家伙,你一定能完成这两个安装。如果安装过程中,不幸遇到各种bug,那么请你自行问度娘,安装好了再继续往下看。


步骤2:建立工程

友情提醒:请原谅我对webStorm还不太熟悉,我自己也才刚安装一天,还处于学习阶段,所以在DOS操作吧!cmd进入DOS,感觉还是挺酷的!

1)在DOS下cd 进入到你想要创建项目的路径。
2)mkdir yzx_homework (创建一个yzx_homework文件夹)
3)cd yzx_homework
4) npm init (初始化工程)

此时需要填写一些项目信息,你可以根据情况填写,当然也可以一路回车。

这里写图片描述

创建完项目后,会生成一个package.json的文件。该文件包含了项目的基本信息。

这里写图片描述

5)安装第三方包(后面程序会直接调用包的模块)

说明:由于http模块、fs模块都是内置的包,因此不需要额外添加。

这里安装cheerio包,和request包。

在dos中,cd进入spider文件夹,然后
npm install cheerio –save

安装完cheerio包后,继续安装request包, npm install request –save

说明:npm(nodejs package manager),nodejs包管理器;
–save的目的是将项目对该包的依赖写入到package.json文件中。

6)在spider文件夹下

  1. 创建子文件夹data(用于存放所抓取的新闻文本内容)
  2. 创建子文件夹image(用于存放所抓取的图片资源)
  3. 创建一个yzx_spider.js文件

整个项目的目录结构如下图所示:

这里写图片描述


步骤三:”talk is cheep,show me the code .”

打开yzx_spider.js,并一行一行的敲代码。

你要是个经常“ctrl+c” + “ctrl+v”的家伙,那我就呵呵了!

var http = require('http');
var fs = require('fs');
var cheerio = require('cheerio');
var request = require('request');
var i = 0;
var url = "http://www.ss.pku.edu.cn/index.php/newscenter/news/2391"; 
//初始url 

function fetchPage(x) {     //封装了一层函数
    startRequest(x); 
}


function startRequest(x) {
     //采用http模块向服务器发起一次get请求      
    http.get(x, function (res) {     
        var html = '';        //用来存储请求网页的整个html内容
        var titles = [];        
        res.setEncoding('utf-8'); //防止中文乱码
     //监听data事件,每次取一块数据
        res.on('data', function (chunk) {   
            html += chunk;
        });
     //监听end事件,如果整个网页内容的html都获取完毕,就执行回调函数
        res.on('end', function () {

         var $ = cheerio.load(html); //采用cheerio模块解析html

         var time = $('.article-info a:first-child').next().text().trim();

         var news_item = {
          //获取文章的标题
            title: $('div.article-title a').text().trim(),
         //获取文章发布的时间
            Time: time,   
         //获取当前文章的url
            link: "http://www.ss.pku.edu.cn" + $("div.article-title a").attr('href'),
         //获取供稿单位
            author: $('[title=供稿]').text().trim(),  
        //i是用来判断获取了多少篇文章
            i: i = i + 1,     

            };

  console.log(news_item);     //打印新闻信息
  var news_title = $('div.article-title a').text().trim();

  savedContent($,news_title);  //存储每篇文章的内容及文章标题

  savedImg($,news_title);    //存储每篇文章的图片及图片标题


             //下一篇文章的url
  var nextLink="http://www.ss.pku.edu.cn" + $("li.next a").attr('href');
            str1 = nextLink.split('-');  //去除掉url后面的中文
            str = encodeURI(str1[0]);  
            //这是亮点之一,通过控制I,可以控制爬取多少篇文章.
            if (i <= 500) {                
                fetchPage(str);
            }

        });

    }).on('error', function (err) {
        console.log(err);
    });

}
       //该函数的作用:在本地存储所爬取的新闻内容资源
function savedContent($, news_title) {
    $('.article-content p').each(function (index, item) {
        var x = $(this).text();       

       var y = x.substring(0, 2).trim();

        if (y == '') {
        x = x + '\n';   
//将新闻文本内容一段一段添加到/data文件夹下,并用新闻的标题来命名文件
        fs.appendFile('./data/' + news_title + '.txt', x, 'utf-8', function (err) {
            if (err) {
                console.log(err);
            }
        });
    }
    })
}
//该函数的作用:在本地存储所爬取到的图片资源
function savedImg($,news_title) {
    $('.article-content img').each(function (index, item) {
        var img_title = $(this).parent().next().text().trim();  //获取图片的标题
        if(img_title.length>35||img_title==""){
         img_title="Null";}
        var img_filename = img_title + '.jpg';

        var img_src = 'http://www.ss.pku.edu.cn' + $(this).attr('src'); //获取图片的url

//采用request模块,向服务器发起一次请求,获取图片资源
        request.head(img_src,function(err,res,body){
            if(err){
                console.log(err);
            }
        });
        request(img_src).pipe(fs.createWriteStream('./image/'+news_title + '---' + img_filename));     //通过流的方式,把图片写到本地/image目录下,并用新闻的标题和图片的标题作为图片的名称。
    })
}
fetchPage(url);      //主程序开始运行

恭喜你,你总算熬出头了!

我依然相信,你是一行一行敲代码的家伙!

运行程序: 见证奇迹的时刻到了!

运行程序:两种方法:

1) 右键yzx_spider.js,打开方式选择webStorm

这里写图片描述

然后进入webStorm,点击右上角绿色的三角标志,程序便开始运行。

控制台有内容输出,证明你成功了!!!

控制台输出的内容,对应的代码是console.log(news_item),输出了新闻的信息。

这里写图片描述

2)如果你对webStorm还一头雾水,亦或安装失败,你可以选择在dos下运行。

cd 到你创建工程文件夹yzx_homework下,然后 node yzx_spider.js 程序就跑起来了。

这里写图片描述


本地存储的资源

1)文本资源:就没刻意保存所有文章的标题了,最后以文章的标题命名.txt文件。

这里写图片描述

2)文章的具体内容:文章内容按段落处理,且段与段之间空一行。

这里写图片描述

3)图片资源

这里写图片描述

4)图片命名说明:就没刻意保存文章图片的标题了。图片的命名格式为:文章标题+ “—”+图片标题。

如下图所示:图片的标题为“座谈会现场”和“参数队员合影”。

这里写图片描述


感悟与体会:经过这次NodeJs爬虫项目的学习,我熟悉了整个网页Html元素的布局方式及结构,能够很从容地针对所要爬取的内容,设计相对应的选择器。同时,我也体会到了NodeJs模块化的便捷及魅力。


后记:爬虫项目,其中关键就在于选择器的设计。cheerio包的选择器$,和jQuery选择器规则几乎是一样的。歇一会,如果还有精力,我就总结一下我这两天学习选择器的体会和小小经验。

版权声明:本文为博主原创文章,未经博主允许不得转载。

Nodejs 实现爬虫的改造:Promise优化、动态页面数据的获取、多个页面并发爬取

跟着Scott老师把上一次的那个爬虫代码进行改造,主要包括单个网页爬取变为多个网页爬取、使用Promise来优化多层回调、动态数据的获取(Scott老师视频中没有的,自己乱搞一个晚上出来的。。。)  ...
  • Turne
  • Turne
  • 2017年02月16日 13:45
  • 3859

使用nodejs写的小爬虫,测试速度,感觉挺快的

//从zngirls的网站上爬取一张图片,并进行异步存储 //http://t1.zngirls.com/gallery/18071/18812/047.jpg (Paste Shift+Insert...
  • davidsu33
  • davidsu33
  • 2016年09月20日 16:09
  • 758

用Nodejs做爬虫

欢迎访文我的博客YangChen’s Blog引言提起爬虫,最容易想到的就是python,因为python给人的感觉就是啥都能干,但是之前用python做爬虫的过程还是很不爽的,主要问题来自这么几个方...
  • yc123h
  • yc123h
  • 2016年05月07日 13:03
  • 5156

nodejs+request+cheerio实现网络爬虫

nodejs是运行在服务器上的JavaScript。网络爬虫的实现由很多种方式(采用的库有很多选择),网络爬虫的类型也有很多(定向爬虫,分布式爬虫)流程介绍访问网页: 网页的访问需要注意的是:某些网...
  • u010129985
  • u010129985
  • 2016年12月01日 17:02
  • 3945

用NodeJs做一个小爬虫

作者:北京起步科技前端研究员,专注分享HTML5 App快速开发工具 WeX5 的黑魔法以及相应的前端技术。 前言利用爬虫可以做很多事情,单身汉子们可以用爬虫来收集各种妹子情报,撩妹族们可以用爬虫收集...
  • justeptech
  • justeptech
  • 2016年07月11日 18:08
  • 7288

一起学爬虫 Node.js 爬虫篇(二)

版权声明:本文为 wintersmilesb101 -(个人独立博客– http://wintersmilesb101.online 欢迎访问)博主原创文章,未经博主允许不得转载。 上一篇中我们对百度...
  • qq_21265915
  • qq_21265915
  • 2017年03月23日 22:31
  • 1678

200行的Node爬虫花了半天的时间把网易云上的30万首歌曲信息都抓取回来

早两天在网易云听歌看评论的时候,突然想把网易云上所有歌曲都抓取下来然后按照评论数进行一次排名,把评论数超过10万的歌曲都听一次,于是便有了这个项目。 因为只是一个小前端,所以使用了Node来写这个爬...
  • wodeai1235
  • wodeai1235
  • 2017年08月22日 20:27
  • 815

Nodejs爬虫实战项目之链家

说明作为一个前端界的小学生,一直想着自己做一些项目向全栈努力。 愁人的是没有后台,搜罗之后且学会了nodejs和express写成本地的接口给前端页面调用。 可是可是,数据从哪里来? 有人说,“...
  • zhaoyu_m69
  • zhaoyu_m69
  • 2017年12月15日 21:08
  • 179

Node.js学习之网络爬虫(使用cheerio抓取网页数据)

准备工作 1.安装node.js开发环境:http://www.runoob.com/nodejs/nodejs-install-setup.html 2.了解cheerio库 英文:https...
  • u012187452
  • u012187452
  • 2017年06月19日 23:05
  • 5592

使用Node.js作为后台进行爬虫

使用Node.js与request模块,爬取B站上的小GIF动图
  • u012273376
  • u012273376
  • 2016年10月05日 05:17
  • 6475
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:手把手教你做爬虫---基于NodeJs
举报原因:
原因补充:

(最多只允许输入30个字)