node.js实现简单的网络爬虫程序

用node.js实现简单的网络爬虫程序
目标：抓取新浪网站带有中国关键字的链接
ps:在这之前要安装request cheerio模块
代码如下：
var request=require(‘request’);
//引入操作dom的模块
var cheerio=require(‘cheerio’);

//引入文件模块
var fs=require(‘fs’);

//定义一个匹配关键字连接的正则表达式
var pattern=/中国/;

//定义要爬的网站首页
var firstUrl=’http://www.sina.com‘;

//发起请求
request({url:firstUrl},function(err,response,body){
if(err)
{
console.log(‘读取出错’);
}
else
{
console.log(‘读取网页成功’);

 //用cheerio模块加载所读的内容
 var $=cheerio.load(response.body.toString());
 var arr = $('a').toArray();
 var hrefs = [];
 var href = {};
 arr.forEach(function(a){
  //此处进行关键字的匹配，匹配到则返回true,否则返回false
  if(pattern.test($(a).text().trim())){
    href.href = $(a).attr('href');
    href.text = $(a).text().trim();
    hrefs.push(href);
    console.log(hrefs);



        //将爬取的数据写入文件
         fs.appendFile('href.txt',href.text+'\n'+href.href+'\n\n','utf8',function(err)
          {


            if(err)
            {
              console.log('写入出错');
            }
          });

    }
 });
}

})
第一次写博客，写的不好请见谅