网络爬虫之cheerio

最新推荐文章于 2024-02-06 10:24:20 发布

webFEdd

最新推荐文章于 2024-02-06 10:24:20 发布

阅读量554

点赞数

分类专栏：技术之路文章标签：网络爬虫编码

本文链接：https://blog.csdn.net/webFEdd/article/details/77145997

版权

技术之路专栏收录该内容

1 篇文章 0 订阅

订阅专栏

cheerio是为服务器特别定制的，快速/灵活/实施的jquery核心实现，适合各种Web爬虫程序。
iconv命令可以将一种已知的字符集文件转换成另一种已知的字符集文件。它的作用是在多种国际编码格式之间进行文本内码的转换。

模块引用

var cheerio = require('cheerio'),
    $ = cheerio.load('<h2 class="title">Hello World</h2>');
$('.title').text('Hello there!');
$('.title').addClass('welcome');
//输出
console.log($.html());
//输出:<html><head></head><body><h2 class="title welcome">Hello there!</h2></body></html>
//解析：.load() 引入我们要解析的html。text() 设置 h2 中的文本。addClass() 给 h2 添加新的class。

深度了解cheerio http://www.hubwiz.com/course/5636b7a11bc20c980538e998/

实用：

let request = require('request');
let iconv = require('iconv-lite');

let cheerio = require('cheerio');
//真正得到的是二进制，然后需要转码后才会是字符串
//默认是用utf8编码转换的
request({uri: 'http://top.baidu.com/category?c=1&fr=topindex', encoding: null}, function (err, response, body) {
    body = iconv.decode(body, 'gbk');// iconv 解码 :把buffer类型转成gbk

    let $ = cheerio.load(body);
    $('.hd .title a').each(function (index, item) {
        let $this = $(item);
        let category = {
            name: $this.text(),
            url: $this.attr('href')
        };
        console.log(category);
    })
});

webFEdd

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
网络爬虫之cheerio

网络爬虫之cheerio cheerio是为服务器特别定制的，快速/灵活/实施的jquery核心实现，适合各种Web爬虫程序。 iconv命令可以将一种已知的字符集文件转换成另一种已知的字符集文件。它的作用是在多种国际编码格式之间进行文本内码的转换。模块引用var cheerio = require('cheerio'), $ = cheerio.load('<h2 class=
复制链接

扫一扫