nodejs利用http和request模块（用于爬虫）

 利用nodejs内置模块http解析网址。

let http = require('http');
http.get("http://www.baidu.com", (res1) => {
    res1.setEncoding('utf-8');//设置编码格式
    res1.on('data', (res2) => {
        console.log(res2)
    })
})

利用request模块解析网址。其中需要用iconv-lite 模块来对抓取的网站数据的编码格式进行设置。

let request = require('request');
let iconv = require("iconv-lite");//解决编码格式


request.get("https://www.ygdy8.com/html/gndy/oumei/list_7_2.html", { encoding: null }, (error, response, body) => {
    console.log("error:", error);
    // const buf = iconv.dncode(body, 'gb2312');//要改变编码的内容，以及原内容的编码格式
    // const html = buf.toString('utf8');//要转换的编码格式
    // console.log(html);
    console.log(iconv.decode(body, 'gb2312').toString());//上面代码的简写

})

抓取的部分结果如下: