NodeJS的axios 模块实现爬虫功能

最新推荐文章于 2024-10-09 09:07:54 发布

QAQ_0

最新推荐文章于 2024-10-09 09:07:54 发布

阅读量2.8k

点赞数 3

分类专栏： nodejs 文章标签： axios

本文链接：https://blog.csdn.net/qq_37662737/article/details/88255323

版权

爬虫功能：抓取https://movie.douban.com/chart页面中的数据，求最高分、最低分、平均分。

const fs = require("fs");
const axios = require("axios");
const cheerio = require("cheerio");

axios.get("https://movie.douban.com/chart").then(res=>{
    //console.log(res.data)
    //fs.writeFileSync("1.html", res.data);

    var $ = cheerio.load(res.data);  // 把数据结构化

    var data = [];
    var all = 0;
    var min;
    var minIndex;
    var max;
    var maxIndex;

    $(".pl2").each(function( ind, el){
        var elem = $(el);
        var title = elem.children("a").text().split("/")[0].replace(/\n/g, '').replace(/\s/g, '');
        var score = Number(elem.find(".rating_nums").text());

        if( min === undefined ){
            min = score;
        }
        if( max === undefined ){
            max = score;
        }

        if(