Node.Js爬虫

导包

安装某个包

npm install xxx -g

查看全局安装包位置,如图所示

npm list -g

假如我的: ‘C:\Users\EDZ\AppData\Roaming\npm\node_modules\’,比如导axios,就这莫用

//导包
const path='C:\\Users\\EDZ\\AppData\\Roaming\\npm\\node_modules\\';
const axios = require(path+'axios');

创建简单的Node工程,利用axios发送请求

1. 安装node

2. 创建示例代码

   axios发送get

   //创建服务,监听8887端口
   var http = require('http');
   const axios = require('axios');
   http.createServer(function (request, response) {
   	//axios设置header
       const axiosLearn= axios.create({
           timeout: 5000, // 请求超时时间
           headers: { "content-type": "application/x-www-form-urlencoded" ,
               cookie:"789797899"
           }
       });
       //axios发送get请求
       axiosLearn.get('http://localhost:8089/test', {
           params: {
               id: 1,
               name: "测试"
           }
       }).then(response => {
           console.log(response.data)
       }).catch(err => {
           console.log(err)
       })
   
       response.writeHead(200, {'Content-Type': 'text/plain'});
       response.end('Hello World\n');
   }).listen(8887);
   
   // 终端打印如下信息
   console.log('Server running at http://127.0.0.1:8887/');
   

   axios发送post

   //axios post请求
   const axios = require('axios');
   
   const data = {
       name: 'John Doe',
       job: 'Content Writer'
   };
   
   axios.post('https://reqres.in/api/users', data)
       .then((res) => {
           console.log(`Status: ${res.status}`);
           console.log('Body: ', res.data);
       }).catch((err) => {
           console.error(err);
       });
   

访问返回页面信息

var http = require('http');
var fs=require('fs');
http.createServer(function (request, response) {
    //即你的页面地址
    fs.readFile('./test.html',function (err, data) {
        response.write(data)
        response.end();
    })

}).listen(8887);

// 终端打印如下信息
console.log('Server running at http://127.0.0.1:8887/');

访问返回Json信息

var http = require('http');
http.createServer(function (request, response) {
    let data={
        id:777,
        age:777,
        name:777
    }
    response.write(JSON.stringify(data))
    response.end();
}).listen(8887);

// 终端打印如下信息
console.log('Server running at http://127.0.0.1:8887/');

调用函数

var http = require('http');

http.createServer(function (request, response) {
    //因为浏览器访问的话,会多一个/favicon.ico的请求,所以此处做个判断
    if(request.url=="/"){
        console.log(f1(4,5))
    }
    response.writeHead(200, {'Content-Type': 'text/plain'});
    // 发送响应数据 "Hello World"
    response.end('Hello World\n');
}).listen(8887);

// 终端打印如下信息
console.log('Server running at http://127.0.0.1:8887/');

function f1(a,b) {
    return a+b;
}

引用其他文件的函数

//文件A
function post(url, headToken, bodyToken) {

}
module.exports = {post}

//文件B
const app_postman = require('./app_postman');
//调用文件A的函数
app_postman.post();

部署

Linux安装node教程: Linux系统安装Nodejs - sirdong - 博客园 (cnblogs.com)

Linux运行node.js项目: linux后台运行nodejs项目 - SimonHu1993 - 博客园 (cnblogs.com)