axios 使用及其相应简单爬虫的扩展

axios 是用于访问http/https请求的一个js库。可用于前端和node后端向服务器发送请求的一个库。

npm地址如下: https://www.npmjs.com/package/axios

简单的promise风格代码包装如下:

const axios = require('axios');

const fs = require('fs');

/**
 * @version 1.0 用于访问其他网站的http与https模块
 * 
 */
class AxiosMannage {

    /***
     * @version 1.0 get promise请求包装
     * 
     */
    static async get({ url, data }) {

        return await new Promise(
            (resolve, reject) => {

                axios.get(url, { params: data }).then((response) => {

                    resolve(response);

                }).catch((err) => {

                    reject(err);

                });

            }
        );

    }

    /***
     * @version 1.0 post promise请求包装
     * 
     */
    static async post({ url, data }) {

        return await new Promise(
            (resolve, reject) => {

                axios.post(url, data).then((response) => {

                    resolve(response);

                }).catch((err) => {

                    reject(err);

                });

            }
        );
    }


    /***
     * @version 1.0 下载网络资源
     * 
     * @param type get/post 
     * 
     * @param url 文件资源地址
     * 
     * @param path 保存地址
     * 
     * 
     */
    static download({ type = 'get', url, path }) {

        axios({

            method: type,
            url,
            responseType: 'stream'

        }).then((response) => {

            response.data.pipe(fs.createWriteStream(path));

        });


    }

}

module.exports = { AxiosMannage };

上述代码比较简单,如果涉及到对于token认证,config配置等,可以参考官网进行补充。

拓展:爬虫(数据挖掘的运用)

1.如果想爬取其他网站的内容,可以使用axios进行访问并进行爬取.

2.数据挖掘的简单环节如下:爬取主页链接->分析提取目标链接地址->访问目标链接地址，获取数据存储->后续分析持久化等

3.以爬取百度关于axios链接搜索资源地址为例,代码如下:

let root = "http://www.baidu.com/s?word=axios";

const cheerio = require('cheerio');

AxiosMannage.get({ url: root }).then(

    (html) => {

        let content = html.data;//拿取了列表的链接

        //运用cheerio 拿去所有有用的连接
        //注cheerio 是专门用来解析html文本结构的一个工具

        //https://www.npmjs.com/package/cheerio   cheerio使用地址

        //在这里可以去获取目标页地址
        let $ = cheerio.load(content);

        let listsUrl = $("#content_left").find(".result");

        for (let i = 0; i < listsUrl.length; i++) {

            //获取目标页的链接地址
            let links = $(listsUrl[i]).find("a").attr("href");

            console.log("连接地址: " + links);

        }

    }

);

爬取结果如下: