【Go语言实战】字符编码GBK、UTF8转换

近期计划开发一个小说阅读APP，本意是学习golang开发，以及爬虫设计。

一般规范些的站点，会采用utf-8编码开发运行在浏览器上。然而，在我抓取的某些网站，却是采用的GBK编码，因此，在解析dom后，获取中文内容的时候，总是会出现一些编码问题，导致我并不能确认，解析到的内容，是不是就是我想要的，我期望的。

为了解决这个问题，我面向百度，面向goole编程，最终找到了一个可靠的解决办法，即goole的text库(golang.org/x/text)，并把对应的方法做了简单的封装。

// transform GBK bytes to UTF-8 bytes
func GbkToUtf8(str []byte) (b []byte, err error) {
	r := transform.NewReader(bytes.NewReader(str), simplifiedchinese.GBK.NewDecoder())
	b, err = ioutil.ReadAll(r)
	if err != nil {
		return
	}
	return
}

// transform UTF-8 bytes to GBK bytes
func Utf8ToGbk(str []byte) (b []byte, err error) {
	r := transform.NewReader(bytes.NewReader(str), simplifiedchinese.GBK.NewEncoder())
	b, err = ioutil.ReadAll(r)
	if err != nil {
		return
	}
	return
}

为了更方便的得到转换后的字符串，继续对以上两个方法封装。

// transform GBK string to UTF-8 string and replace it, if transformed success, returned nil error, or died by error message
func StrToUtf8(str *string) error {
	b, err := GbkToUtf8([]byte(*str))
	if err != nil {
		return err
	}
	*str = string(b)
	return  nil
}

// transform UTF-8 string to GBK string and replace it, if transformed success, returned nil error, or died by error message
func StrToGBK(str *string) error {
	b, err := Utf8ToGbk([]byte(*str))
	if err != nil {
		return err
	}
	*str = string(b)
	return  nil
}