nodejs爬取页面内容(utf8编码)

本文介绍如何使用Node.js进行网页内容抓取,并着重讲解在处理UTF-8编码时的方法和技巧,确保正确解析网页字符。
摘要由CSDN通过智能技术生成
var request = require('request');
var cheerio = require('cheerio');  //引入cheerio
var fs = require('fs');
var path = require('path');
var requrl = 'http://blog.csdn.net/experts.html?&page=2';


request(requrl, function (error, response, body) {
    if (!error && response.statusCode == 200) {
        //console.log( body );
        acquireData(body);
    }else{
        console.log(error);
    }

})


function getSourceCode(data){
    var $=cheerio.load(data);
 
    varmeizi=$('.text img').toArray();
    console.log(meizi.length);
    varlen=meizi.length;
    for(vari=0;i<len;i++){
        varimgsrc=meizi[i].attribs.src;
        console.log(imgsrc);
        varfilename=parseUrlForFileName(imgsrc);  //生成文件名
        downloadImg(imgsrc,filename,function(){
            console.log(filename+' done');
        });
    }
}
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值