前端歌谣-第四拾柒课-node之http模块之爬虫

最新推荐文章于 2024-09-16 06:30:00 发布

前端歌谣

最新推荐文章于 2024-09-16 06:30:00 发布

阅读量348

点赞数 6

文章标签：前端 http 爬虫

本文链接：https://blog.csdn.net/qq_41632427/article/details/134029822

版权

前端学习-2023 同时被 2 个专栏收录

4420 篇文章 3 订阅

订阅专栏

歌谣-最强学习合集

114 篇文章 1 订阅

订阅专栏

前言

我是歌谣微信公众号关注前端小歌谣一起学习前端知识今天继续给大家讲解node中爬虫的讲解

安装

npm init -y
npm i cheerio

案例

var http=require("http")
var url=require("url")
var https=require("https")
var cheerio=require("cheerio")
http.createServer((req,res)=>{
     var urlobj=url.parse(req.url)
     res.writeHead(200,{
        "content-Type":"application/json;charset=utf-8",
        "access-control-allow-origin":"*"
     })
     switch(urlobj.pathname){
        case "/api/aaa":
            httpget((data)=>{
                res.end(spider(data))
            })
            break
        default:
            res.end("404")
     }
}).listen(3000)

function httpget(cb){
    var data=""
    https.get(`https://i.maoyan.com/`,(res)=>{
        res.on("data",(chunk)=>{
           data+=chunk
        })
        res.on("end",()=>{
           cb(data)
        })
    })
}


function spider(data){
    let $=cheerio.load(data)
    let $movielist=$("")
     console.log($)
     let movie=[]
     $movielist.each((index,value)=>{
        movie.push($(value).find(".title").text())
     })
    return JSON.stringify(movie)
}