Go语言:读取带有BOM头的UTF8文件

1 篇文章 0 订阅

 BOM头是UTF8文件开头的三个固定取值的字节,读文件的时候如果遇到BOM头需要忽略。在Golang里,比较有效率的方法是用ioutil.ReadFile,返回[]byte之后截取从第四个字节到末尾的切片。因为由切片截取生成的新切片和原切片共同指向同一个数组,所以没有额外的拷贝,这一点比转换成字符串之后再替换第一行的BOM要省一点字符串拷贝。

示例如下:

func read(filename string) []*string {
	dat, err := ioutil.ReadFile(filename)
	if (dat[0] == 0xef || dat[1] == 0xbb || dat[2] == 0xbf) {
		dat = dat[3:]
	}
	check(err)
	var cleaned = strings.Replace(string(dat), "\r", "", -1)
	var lines = strings.Split(cleaned, "\n")
	n := len(lines)
	var r []*string
	for i := 0; i < n; i++ {
		if lines[i] != "" {
			r = append(r, &lines[i])
		}
	}
	return r
}

 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值