nodejs的简单post爬虫

1. 安装nodejs环境

2. 建立空文件夹，在该文件夹下新建app.js文件

3. 使用node在该文件夹下安装express，cheerio，superagent-charset，superagent

cnpm install express cheerio superagent-charset superagent -s

4. 在app.js中写代码

var express = require("express");//引入简单的服务端框架
var cheerio = require("cheerio");//引入处理dom的类似jq的东西
var charset = require("superagent-charset");//给superagent提供转字符能力
var superagent = charset(require("superagent"));//简单的模拟http访问
var app = express();

app.get("/", function(req, res, next) {
    superagent
        .post("http://jtb.cust.edu.cn/tz/inok2.asp")//post/get地址
        .type("application/x-www-form-urlencoded")//必填，可通过f12网络查看
        .charset("gbk")//部分网页用gbk编码,可通过document.charset查看
        .buffer(true)//不开启会警告
        .send({a:"a",b:"b"})//post参数,可通过f12网络查看
        .end(function(err, sres) {//发送完毕后调用
            if (err) {
                return next(err);//常规错误处理
            }

            let $ = cheerio.load(sres.text);
            console.log($);//获取的网页数据，可通过cheerio（类jq）操作
        })
});
app.listen(8081, function() {
    console.log("启动成功");//打开localhost:8081即可执行
});

5. 在文件夹下执行

nodemon app

6. 若显示启动成功，那么打开localhost:8081，接着返回控制台就可看到网页dom了