bee 字符串转int_beego中gbk和utf8编码转换问题

beego中gbk和utf8编码转换问题,这个问题非常重要,有时候从gbk采集过来转成utf8也非常重要。

func Get_cate_urls(url string) (map[int]string , error) {

urls :=make(map[int]string)

if len(url) == 0 {

return urls,errors.New("请输入要采集的url")

}

res,err := http.Get(url)

if err !=nil {

return urls,err

}

body ,err := ioutil.ReadAll(res.Body)

if (err !=nil) {

return urls,err

}

body = body[1024:1024*2]

html := string(body)

enc   := mahonia.FallbackDecoder(mahonia.NewDecoder("utf8"), mahonia.NewDecoder("ISO-8859-1"))

strr := enc.ConvertString(html)

dd:=mahonia.NewDecoder("gbk")

str := dd.ConvertString(html)

regex,_  := regexp.Compile("

urlall := regex.FindAllStringSubmatch(enc.ConvertString(strr),-1)

for i ,v := range urlall {

urls[i] = v[1]

}

res.Body.Close()

return urls,nil

}

以上我们提供了2种解决方案,来解决该golang采集中编码的问题,这个是我在beego中采集的解决办法

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值