Node爬虫

背景：

        在此之前，一直使用的python去进行爬虫，爬取一些简单重复的数据。突然在想，使用node如何进行爬虫。在此记录一下。

实现：

        1、首先你的电脑必须要有node环境，没有的可以安装一下。网上有很多教程。

        2、初始化一个项目，npm init -y 

        3、安装一些拓展。request用于向指定地址发送请求，cheerio 相当于jquery，可以简化dom操作。

npm install request --save
npm install cheerio --save

以某一个页面为例，我想爬取页面中的歌词。首先复制地址，保存到代码中（let url =xxx）。

       然后，按f12键位，打开开发者工具，找到对应想要爬取的数据结构。如下图。

 在代码中输入对应的元素类名或者标签名，匹配到对应的元素。

const request = require("request");
const cheerio = require("cheerio");
const copyWords = (url) => {
  request(url, function (error, response, body) {
    // 如果请求成功且状态码为 200
    if (!error && response.statusCode == 200) {
      // 使用 cheerio 加载 HTML 文档
      const $ = cheerio.load(body);
      // 存储获取到的数据
      // 获取hotnews下全部的li元素
      let keywords = "";
      $(".entry-content")
        .find("p")
        .each(function (index, value) {
            //获取Text中内容
            let obj = value.children;
            for (let i = 0; i < obj.length; i++) {
                if (obj[i].type === "text") {
                    keywords += ',' + obj[i].data;
            }
            }
            console.log(keywords,'keywords');
        });
    }
  });
};

module.exports = { copyWords };

图中代码需要根据个人实际情况做一些修改。 最后调用函数。结果如下。