node实现爬虫，你学会了吗？简简单单

最新推荐文章于 2023-05-21 09:57:17 发布

奶溶咖啡糖

最新推荐文章于 2023-05-21 09:57:17 发布

阅读量153

点赞数

分类专栏： Node Vue

本文链接：https://blog.csdn.net/qq_43574079/article/details/114270248

版权

Vue 同时被 2 个专栏收录

8 篇文章 1 订阅

订阅专栏

Node

1 篇文章 0 订阅

订阅专栏

const http = require('http');
const cheerio = require('cheerio');//cheerio需要安装npm install cheerio
const fs = require('fs');
//要请求的地址
let urlCrawler = 'http://www.ip3q.com/e/action/ListInfo.php?&classid=90&ph=1&slx=%E4%B8%AA%E4%BA%BA%E5%8D%9A%E5%AE%A2%E6%A8%A1%E6%9D%BF';

//请求地址
http.get(urlCrawler, (res) => {
    let crawlerHtml = '';
    //防止乱码
    res.setEncoding('utf-8');
    //接收数据过程中拼接数据
    res.on('data', (item) => {
            crawlerHtml += item
        })
        //接收完成后进行的操作
    res.on('end', () => {
        let files = [];
        // console.log(crawlerHtml)
        const $ = cheerio.load(crawlerHtml);
        //找到需要爬取的片段
        $('.pics-list-price ul li').each((index, value) => {
            //找到标题
            let title = $(value).find('h2').text();
            let list = {
                    title
                }
                //放到数组中
            files.push(list)
        });
        //放入文件 如果没有则生成该文件
        fs.appendFileSync('./hellow.json', JSON.stringify(files, "", '\t'))
    })
})