Golang实战【网页转码】

最新推荐文章于 2023-03-21 20:35:57 发布

HEI_RAO

最新推荐文章于 2023-03-21 20:35:57 发布

阅读量619

点赞数

分类专栏： golang

本文链接：https://blog.csdn.net/qq_25504271/article/details/78664717

版权

17 篇文章 0 订阅

订阅专栏

今天遇到帮公司爬小说遇到了点小问题。。。。。。。。。。。。。加上今天公司网不好·····比较蛋疼

爬下来的网页是乱码一般有两种情况最常见的就是编码问题如何解决呢？很简单·········· 由于被墙的原因找的是github 上的fork

使用mahonia包

安装过程不在赘述了

dec := mahonia.NewDecoder("gbk")
rd := dec.NewReader(res.Body)
因为这里要用到goquery  所以上面以流的方式读取
dom,err:= goquery.NewDocumentFromReader(rd)

就是这么简单·······

还有一种原因是请求会来的内容是被压缩过的，这样是需要人工解压的··········方法就自己百度吧，因为我也没遇到过········
只是要清楚为什么乱码就ok 了

关注