node 小爬虫

初始化

• npm init -y

内置依赖

• 内置path， fs
• path指定文件夹绝对路径
• fs 写入文件

外部依赖包

• 依赖包cheerio， request
• cheerio相当于jQuery用于操作请求的HTML值
• request请求接口
• npm i cheerio request -S

const request = require('request')
const cheerio = require('cheerio')
const fs = require('fs')
const path = require("path");
const baseUrl = 'https://ks.wjx.top/m/34480820.aspx'

function startReq (url) {
  request(url, function(error, res, body) {
    const $ = cheerio.load(body)
    let muens = $('.ui-field-contain')
    let str = '' 
    for (let i = 0; i < muens.length; i++) {
      str += muens.eq(i).find('.field-label').text() + '\n' + muens.eq(i).find('.label').text() + '\n'
    }
    fs.writeFile(path.join(__dirname, './index.txt'), str,'utf8', function(err){
      if(err)
        console.log('写文件出错了，错误是：'+err);
      else
        console.log('ok');
    })
  })
}
startReq(baseUrl)

DOM 分析

结果