Golang解决bufio.Scanner: token too long的问题

Golang解决bufio.Scanner: token too long的问题

在Go语言中使用bufio.Scanner时，遇到“token too long”（标记过长）的错误，通常是因为尝试读取的行太大，超过了bufio.Scanner默认的最大容量。bufio.Scanner默认的缓冲区大小为64KB，如果尝试读取的行大于这个大小，就会报错“token too long”。

解决方法

解决这个问题有两种常见的方法：

1、增加缓冲区大小

可以通过bufio.Scanner的Buffer方法来设置一个更大的缓冲区大小。例如，将缓冲区大小设置为1MB：

    scanner := bufio.NewScanner(file)
    buf := make([]byte, 0, 64*1024) // 创建一个初始大小为64KB的缓冲区
    scanner.Buffer(buf, 1024*1024) // 将最大缓冲区大小增加到1MB

2、使用其他方法读取大文件

如果文件中有非常长的行或者不确定行的大小，使用bufio.Reader或者直接使用os.File的Read方法可能更合适，这样可以自己控制每次读取数据的大小，不会受到bufio.Scanner缓冲区大小的限制。

总结

选择哪种方法取决于具体需求和文件的具体情况。如果调整bufio.Scanner的缓冲区大小可以满足需求，那这是一种相对简单的解决方式。如果文件行的长度非常不确定或者有些行极端的长，可能需要考虑第二种方法。