golang 大文件分割与合并

最新推荐文章于 2024-07-26 23:55:56 发布

chuanghua8764

最新推荐文章于 2024-07-26 23:55:56 发布

阅读量3.6k

点赞数 1

文章标签： golang 数据库

原文链接：https://my.oschina.net/wgc2010/blog/2873082

版权

本文探讨了如何使用Golang语言高效地对大文件进行分割和合并操作，适用于处理超过系统限制或者需要分批处理的大文件场景。通过Golang的文件I/O和切片特性，可以实现灵活且高效的文件管理。

摘要由CSDN通过智能技术生成

package main

import (
   "fmt"
   "io/ioutil"
   "math"
   "os"
   "strconv"
)

const chunkSize = 1 << (10 * 2)

func main() {
   fileInfo, err := os.Stat("cbd.mp4")
   if err != nil {
      panic(err)
   }

   num := math.Ceil(float64(fileInfo.Size()) / chunkSize)

   fi, err := os.OpenFile("cbd.mp4", os.O_RDONLY, os.ModePerm)
   if err != nil {
      fmt.Println(err)
      return
   }
   b := make([]byte, chunkSize)
   var i int64 = 1
   for ; i <= int64(num); i++ {
      fi.Seek((i-1)*chunkSize, 0)
      if len(b) > int(fileInfo.Size()-(i-1)*chunkSize) {
         b = make([]byte, fileInfo.Size()-(i-1)*chunkSize)
      }
      fi.Read(b)

      f, err := os.OpenFile("./"+strconv.Itoa(int(i))+".db", os.O_CREATE|os.O_WRONLY, os.ModePerm)
      if err != nil {
         panic(err)
      }