文档信息
- 文档类型:xlsx
- 文档大小:78.5 MB
- 文档行数:5w+
- 文档列数:3084
php使用PHPExcel读取文档
在excel文档比较小的时候,效率还是不错的,但是在文档大小在80M的时候,读取效率特别低,读取文档的时间达到了5分钟甚至更久
golang使用[github.com/xuri/excelize/v2]读取文档
start time: 1689849164
read file done time: 1689849168
read rows done time: 1689849168
read row done time: 1689849177
读取时间只有13秒
- phpexcel读取的时候先加载了全部的excel数据,在小数据量的情况下,效率还行,phpexcel不会进行buf操作,io效率很低,但是只要数据行数较高就变得极为低效。
- excelize使用golang的bufio处理文档数据,并使用锁操作保证了数据的同步,bufio就提供了缓冲区(分配一块内存),读和写都先在缓冲区中,最后再读写文件,来降低访问本地磁盘的次数,从而提高效率,在极高数据量的情况下也能保持极高的效率。
- php与golang在读取大数据量的excel文档时,golang表现比php好太多了。