nodejs+cheerio 实现简单的网页采集（可实现简单的组装页面）

最新推荐文章于 2024-08-13 08:09:55 发布

简简单单_4206

最新推荐文章于 2024-08-13 08:09:55 发布

阅读量652

点赞数 1

分类专栏： web前端笔记文章标签： cheerio nodejs+cheerio

本文链接：https://blog.csdn.net/u012881878/article/details/80421673

版权

web前端笔记专栏收录该内容

11 篇文章 0 订阅

订阅专栏

1：首先可以先获取你需要采集的网页的地址：url

2：将你需要采集的url用nodejs实现请求：

const cheerio = require('cheerio');

const restler = Object.assign({}, require("restler"));
import htmlObject from '../utils/html-str.js';
import functionTool from '../utils/function.js';
import md5 from 'md5';

parseHtml: function (result, link, charset) {
        let $ = cheerio.load(result);
        let linkId = md5(link);
        toolManager.charsets[linkId] = charset;
        toolManager.docs[linkId] = result;
        let $head = $('head'), $body = $('body');
        $head.append('<script type="text/javascript">' + functionTool.injectJavascript + '</script>');
        $head.append(htmlObject.injectCss);
        $body.append($(htmlObject.injectMenu));
        $body.append($(htmlObject.injectToolbar));
        $body.append($(htmlObject.injectLinkId).val(linkId));
        return $.html();
    },

processDoc(req, response) {
        let link = req.query['link'];
        restler.get(link).on('complete', function (result, res) {
            if (result instanceof Error) {
                console.log('Error:', result.message);
            } else {
                let charset = res.headers['content-type'];
                if (charset) {
                    charset = /\bcharset=(.+)(?:;|$)/i.exec(charset);
                    if (charset) {
                        charset = charset[1].trim().toLowerCase();
                    }
                }
                response.write(parseHtml(result, link, charset));
            }
        });
    }

上面的functionTool.injectJavascript为你需要嵌入到采集到的网页中的js代码

同样下面的injectCss，injectMenu,injectToolbar等分别代表样式文件与html代码

其中引入cheerio模块的话可以直接操作采集下来的页面（api:https://cnodejs.org/topic/5203a71844e76d216a727d2e）

通过restler模块去请求界面的话，它会帮你处理好界面中文的乱码问题，（api:https:www.npmjs.com/package/restler）