node爬取

最新推荐文章于 2024-04-15 20:50:52 发布

阿宅的小天地

最新推荐文章于 2024-04-15 20:50:52 发布

阅读量254

点赞数

分类专栏： node 文章标签： node

本文链接：https://blog.csdn.net/u014137329/article/details/122306064

版权

node 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

涉及三个模块：request、cheerio、fs

request用于发送http请求

cheerio用于操作DOM相关

fs文件系统

// 爬取网站小说
let request  = require('request');
let cheerio = require('cheerio');
let fs = require('fs');

// fs.writeFile('demo.txt', 'aaaaa', (err) => {
//   if (err) console.log(err);
//   console.log('write success')
// })

request('http://book.zongheng.com/showchapter/1159968.html', (err, result) => {
  if (err) console.log(err);
  let $ = cheerio.load(result.body);
  $('ul[class^="chapter-list"] li a').each((index, el) => {
    const href = $(el).attr('href');
    const title = $(el).text();
    request(href, (error, res) => {
      let html = cheerio.load(res.body);
      html('div[class^="content"]').each((idx, element) => {
        fs.writeFile(`${index + title}.txt`, html(element).text(), 'utf8', (e, result) => {
          if (e) console.log(e);
          console.log(222);
        })
      })
    })
  })
})