解决go语言访问网站编码不一致问题

最新推荐文章于 2024-04-27 18:18:53 发布

levonmo

最新推荐文章于 2024-04-27 18:18:53 发布

阅读量2.1k

点赞数 1

分类专栏： Go语言

本文链接：https://blog.csdn.net/weixin_38104426/article/details/81184108

版权

Go语言专栏收录该内容

21 篇文章 2 订阅

订阅专栏

package main

import (
	"net/http"
	"fmt"
	"io/ioutil"
	"golang.org/x/text/transform"
	"io"
	"bufio"
	"golang.org/x/net/html/charset"
	"golang.org/x/text/encoding"
)

func main()  {
	resp, err := http.Get("http://www.zhenai.com/zhenghun")
	if err != nil {
		panic(err)
	}
	defer resp.Body.Close()

	if resp.StatusCode != http.StatusOK {
		fmt.Println("error")
		return
	}

	//监测网页是什么编码
	e := determineEncoding(resp.Body)

	//要下载gopm get -g -v golang.org/x/text 这个库
	utf8Reader := transform.NewReader(resp.Body, e.NewDecoder())
	all, err := ioutil.ReadAll(utf8Reader)

	if err != nil {
		panic(err)
	}
	fmt.Printf("%s\n",all)
}

func determineEncoding(r io.Reader) encoding.Encoding  {
	bytes, err := bufio.NewReader(r).Peek(1024)
	if err != nil {
		panic(err)
	}
	e, _, _ := charset.DetermineEncoding(bytes, "")
	return e
}