ioutil

最新推荐文章于 2024-05-14 12:59:59 发布
最新推荐文章于 2024-05-14 12:59:59 发布
阅读量1.3k 收藏 4
点赞数 1
文章标签： python linux java go 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JunChow520/article/details/122265976
版权

ioutil是io库的辅助工具函数库，用于实现I/O实用程序功能。

工具函数返回值描述
ReadAll[]byte读取数据返回读取到的字节切片
ReadDir[]os.FileInfo读取目录返回目录入口数组
ReadFile[]byte读取文件返回文件内容的字节切片
WriteFileerror根据文件路径写入字节切片
TempDirstring在指定目录中创建指定前缀的临时文件夹，返回临时目录路径。
TempFileos.File在指定目录创建指定前缀的临时文件

ioutil.ReadAll

ReadAll()可用来一次性的读取数据

ReadAll()会从读取器对象中读取数据直到遇到错误或EOF，返回读取的数据和错误，读取成功时返回的错误为nil而非EOF。由于读取限制条件为读取直到EOF，因此不会将读取返回的EOF视为要报告的错误。

package ioutil

func ReadAll(r io.Reader) ([]byte, error) {
    return io.ReadAll(r)
}
package io

func ReadAll(r Reader) ([]byte, error) {
    b := make([]byte, 0, 512)
    for {
        if len(b) == cap(b) {
            // Add more capacity (let append pick how much).
            b = append(b, 0)[:len(b)]
        }
        n, err := r.Read(b[len(b):cap(b)])
        b = b[:len(b)+n]
        if err != nil {
            if err == EOF {
                err = nil
            }
            return b, err
        }
    }
}

ioutil.ReadAll()调用的是io.ReadAll()，io.ReadAll()默认会固定地申请512字节的缓存空间，同时将数据全部加载到内存。

比如：计算并获取文件的MD5值

问题：若一次性读取的文件大于2GB，由于util.ReadAll()会将整个文件都加载到内存，短时间内是无法清理的。

//FileMd5 获取文件的MD5值
func FileMd5(filename string) string {
    fp, err := os.Open(filename)
    defer fp.Close()

    buf, err := ioutil.ReadAll(fp)
    if err != nil {
        fmt.Printf("%+v\n", err)
        return ""
    }

    md5Str := fmt.Sprintf("%x", md5.Sum(buf))
    return md5Str
}
func main() {
    file := "./README.md"
    fileMd5 := FileMd5(file)

    fmt.Printf("%s\n", fileMd5)
}

优化：此种情况最好采用io.Copy()来替代ioutil.ReadAll()

//FileMd5 获取文件的MD5值
func FileMd5(filename string) (str string, err error) {
    fp, err := os.Open(filename)
    defer fp.Close()
    if err != nil {
        return
    }

    h := md5.New()
    _, err = io.Copy(h, fp)
    if err != nil {
        return
    }

    str = fmt.Sprintf("%x", h.Sum(nil))
    return
}
func main() {
    file := "./README.md"
    str, err := FileMd5(file)

    fmt.Printf("%s\n", str)
    fmt.Printf("%+v\n", err)
}

若数据过大会导致bytes.ErrTooLarge异常。由于这512字节的缓存空间默认是固定申请的，即使读取的数据只有1字节也会申请512字节的缓存空间。因此在读取文件和网络请求时，存在性能隐患，可能会引发内存异常。

例如：从字符串中读取

func main() {
    var str string
    var buf []byte
    var err error
    var reader io.Reader

    str = "hello world"
    reader = strings.NewReader(str)

    buf, err = ioutil.ReadAll(reader)
    if err != nil {
        fmt.Printf("%+v\n", err)
        return
    }
    fmt.Printf("%s\n", buf)
}

ioutil.ReadDir

ioutil.ReadDir()用于读取指定路径下所有的名录和文件，但不包含子目录。

func ReadDir(dirname string) ([]os.FileInfo, error)

返回读取到的经排序后的文件信息列表[]os.FileInfo，os.FileInfo接口提供了访问文件信息的方法。

type FileInfo interface {
    Name() string       // 文件基础名称
    Size() int64        // 常规文件的字节长度
    Mode() FileMode     // 文件权限的比特位
    ModTime() time.Time // 文件修改时间
    IsDir() bool        // 是否目录 Mode().IsDir()
    Sys() interface{}   // 基础数据源接口，可能为nil。
}

例如：获取当前目录文件

func main() {
    fi, err := ioutil.ReadDir(".")
    if err != nil {
        log.Fatal(err)
    }
    for _, v := range fi {
        fmt.Printf("%s\n", v.Name())
    }
}

例如：递归获取指定路径下所有文件

func DirFile(pathname string, s []string) ([]string, error) {
    dirname := filepath.FromSlash(pathname)
    rd, err := ioutil.ReadDir(dirname)
    if err != nil {
        return s, err
    }
    for _, v := range rd {
        if v.IsDir() {
            s, err = DirFile(filepath.Join(dirname, v.Name()), s)
            if err != nil {
                return s, err
            }
        } else {
            s = append(s, filepath.Join(dirname, v.Name()))
        }
    }
    return s, nil
}
func main() {
    s := []string{}
    s, err := DirFile("d:/go/root", s)
    fmt.Printf("%+v\n%+v\n%+v\n", err, s, len(s))
}

ioutil.ReadFile

ioutil.ReadFile()用于读取文件中的所有数据，读取成功时，返回数据将以字节切片方式输出，错误值为nil而非io.EOF。

func ReadFile(filename string) ([]byte, error)
返回值描述
[]byte读取到的文件内容
error读取成功为nil，读取失败为错误。

使用ioutil.ReadFile()读取文件内容时，只需要一个文件名即可，无需手动打开和关闭文件。

filename := "./go.mod"
buf, err := ioutil.ReadFile(filename)
fmt.Printf("%+v\n%s\n", err, buf)

ioutil.ReadFile()适用于读取小文件，不适合读取大文件。

ioutil.ReadFile()读取文件时会先计算出文件的大小，再初始化对应大小的缓存后来读取字节流，相比之下速度更快。

ioutil.WriteFile

ioutil.WriteFile()写文件前无需判断文件是否存在

  • 若文件不存在会以指定权限自动创建后写入数据
  • 若文件存在则会清空文件但不改变权限，然后覆盖原内容。
func WriteFile(filename string, data []byte, perm os.FileMode) error
参数类型描述
filenamestring文件路径
data[]byte要写入的文件内容
permos.FileMode文件权限

例如：写入文件后读取文件内容

filename := "./test.log"
data := []byte("hello world")
err := ioutil.WriteFile(filename, data, 0666)
fmt.Printf("%+v\n", err)

buf, err := ioutil.ReadFile(filename)
fmt.Printf("%+v\n%s\n", err, buf)

使用ioutil.WriteFile()时若文件存在会清空后再写入，如何对存在文件进行内容追加呢？

func AppendFile(filename string, data []byte, perm os.FileMode) error {
    f, err := os.OpenFile(filename, os.O_APPEND|os.O_CREATE, perm)
    defer f.Close()
    if err != nil {
        return err
    }
    n, err := f.Write(data)
    if err != nil {
        return err
    }
    if n < len(data) {
        return io.ErrShortWrite
    }
    return nil
}

func main() {
    filename := "./test.log"
    data := []byte("\nhello world")
    err := AppendFile(filename, data, 0644)
    fmt.Println(err)
}

ioutil.WriteFile()写文件时，如果目标文件已存在，则perm属性会被忽略。

ioutil.TempFile

临时文件

临时文件是一个程序运行时才会创建，程序执行结束就无用的文件。因此不管创建的临时文件是否已经存在，程序都应该以读写的方式打开，一旦打开就会抹除原来的内容。由于程序结束时就变得无用，因此需要在程序结束时能够自动删除。

现代操作系统都提供了临时文件夹，临时文件夹表示重启操作系统后其下的内容可能会被删除的目录。

由于临时文件的创建和读写很频繁，因此大部分操作系统都提供了相关的API来创建和读写临时文件夹。大部分语言内置的标准库也提供了相关的方法或模块来创建和读写文件。

临时目录

现代操作系统都提供了一个或几个专用的文件夹用来保存临时文件，调用系统提供的临时文件操作函数会在旗下创建临时文件。

  • Windows下临时目录由环境变量%TMP%、%TEMP%、%USERPROFILE%指定，默认临时目录位于C:\Users\[username]\AppData\Local\Temp\。
  • Linux/MacOS上临时目录由$TMPDIR环境变量指定，若无则默认位置为/tmp。

Go标准库os包提供了os.TempDir()用于获取当前操作系统临时目录的路径

fmt.Printf("%+v\n", os.TempDir()) // C:\Users\z5j2c\AppData\Local\Temp

Go标准库io/ioutil包也提供了创建临时目录和临时文件的函数

ioutil.TempFile()用于创建临时文件，会在指定目录下创建指定前缀的临时文件，返回文件指针。若指定目录不存在则使用系统默认的临时目录。

func TempFile(dir, pattern string) (f *os.File, err error) {
    return os.CreateTemp(dir, pattern)
}
参数类型描述
dirstring用于指定临时文件保存的文件夹，若为空则会自动调用os.TempDir()返回系统临时目录。
patternstring用于指定临时文件的文件名格式

pattern类似正则表达式的文件名格式，可使用*表示随机字符串的位置，若无*则自动会将随机字符串添加到文件名末尾。

返回值是一个os.File类型的文件指针，可使用该类型提供的各种函数来读写文件。

注意：操作系统可能会自动删除临时文件，但并不一定会立即发生。所以临时文件使用完毕后最好手动调用os.Remove(file.Name()来删除。

例如：

func main() {
    //获取临时目录位置
    fmt.Printf("%+v\n", os.TempDir()) // C:\Users\z5j2c\AppData\Local\Temp

    //创建临时文件
    f, err := ioutil.TempFile("", "cfg_")
    defer f.Close()
    fmt.Printf("%+v %+v\n", err, f.Name()) // <nil> C:\Users\z5j2c\AppData\Local\Temp\cfg_3128524677

    //向临时文件写入字符串
    f.WriteString("hello world")

    //读取临时文件内容
    buf, err := ioutil.ReadFile(f.Name())
    fmt.Printf("%+v %s\n", err, buf) // <nil> hello world

    //删除临时文件
    defer os.Remove(f.Name())
}

ioutil.TempDir

ioutil.TempDir()会在指定目录下创建一个全新的使用指定前缀的临时文件夹，若未指定目录则使用默认临时目录。

func TempDir(dir, pattern string) (name string, err error) {
    return os.MkdirTemp(dir, pattern)
}

例如：在系统临时目录下随机创建临时目录

  • 使用os.TempDir()获取系统临时目录路径
fmt.Printf("%+v\n", os.TempDir()) // C:\Users\z5j2c\AppData\Local\Temp

name, err := ioutil.TempDir("", "temp")
fmt.Printf("%+v %s\n", err, name) // <nil> C:\Users\z5j2c\AppData\Local\Temp\temp1983286483
JunChow520
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Go学习之ioutil.ReadAll注意事项
陈雪锋的博客
02-26 3万+
ioutil.ReadAll注意事项现象溯源解决办法bufio.Reader.Read 现象 读取文件或者网络请求时，我们经常会遇到ioutil.ReadAll方法，但是这个方法虽然方便有时候却会导致一些性能问题。 我们往一个名为”test“的测试文件里简单写入两行字符串： test test 然后用我们熟知的ioutil.ReadAll来读取文件： package main import (...
golang ioutil与io包详解
BangBrother的博客
07-14 3098
golang 文件与读写流的各类操作（os/io/bufio/ioutil）os二级目录三级目录 os 二级目录 三级目录
2024年为什么要避免在 Go 中使用 ioutil(2)，2024年最新实现原理讲解
最新发布
2401_84924910的博客
05-14 633
Go 1.16 版本开始，直接调用函数，下面再看看的实现：// 创建一个 512 字节的 buffor {// 如果 buf 满了，则追加一个元素，使其重新分配内存// 读取内容到 buf// 遇到结尾或者报错则返回if err!= nil {err = nil我给代码加上了必要的注释，这段代码的执行主要分三个步骤：创建一个 512 字节的buf；不断读取内容到buf，当buf满的时候，会追加一个元素，促使其重新分配内存；直到结尾或报错，则返回；
Go语言ioutil包详解
u012948302的专栏
03-04 2463
Go语言 ioutil包中提供了一些常用、方便的IO操作函数，我们在平时的时候中可以直接拿来使用，一起来学习下吧！
为什么使用ioutil.ReadAll 函数需要注意
Gefangenes的博客
07-14 365
本文首先对进行了基本的说明，同时给了一个简单的使用示例。随后，通过基准测试展示了使用加载数据，消耗的内存可能远远大于待加载的数据。之后，通过对源码讲解，说明了导致这个现象导致的原因。最后，给出了一些替代方案，如使用函数和使用io.Copy函数等，以减少内存占用。基于以上内容，便完成了对函数的介绍，希望对你有所帮助。好文要顶关注我。
golang ioutil.ReadAll 内存泄漏 注意事项
whatday的专栏
12-30 1138
我们看到了，如果用ioutil.ReadAll来读取即使只有1byte也会申请512byte，如果数据量大的话浪费的更多每次都会申请512+2*cap(b.buf)，假如我们有1025byte那么它就会申请3584byte，浪费了2倍还多。再看看输出：可以看到len只有9但是cap却有1536，我们只读取很少的内容却使用了这么多的内存，这在平时不会有问题，但是比如在网络应用当有大量请求过来时就容易导致内存严重浪费，严重时还会内存泄漏。申请完了512byte内存空间会调用buf.ReadFrom读取。
深入解析Go语言的io.ioutil标准库使用
01-01
今天我们讲解的是golang标准库里边的io/ioutil包–也就是package io/ioutil 1.ioutil.ReadDir(dirname string)这个函数的原型是这样的 func ReadDir(dirname string) ([]os.FileInfo, error) 不难看出输入的是...
ioutil:ioutil标准库的absfs.FileSystem兼容版本
04-28
ioutil-AbsFs FileSystem实用程序功能 软件包github.com/absfs/ioutil为absfs.FileSystem接口实现了标准库ioutil函数。 例子 读取目录。 fs , _ := osfs . NewFS () files , err := ioutil . ReadDir ( fs , "." ) ...
go-vfs：软件包vfs提供了易于测试的os和ioutil软件包的抽象
02-06
软件包vfs提供了易于测试的os和ioutil软件包的抽象。 主要特点 标准库中常用的os和ioutil函数的文件系统抽象层。 强大且易于使用的声明式测试框架vfst 。 在代码运行之后，您可以声明文件系统的所需状态，然后vfst...
Util:公共组件，Examples chinass.github.ioUtil
06-08
公共组件 在目前的各个项目中，熟悉某一组件的开发人员采用自己熟悉的组件，使用到的前端组件非常多，有Ext、jquery UI、ligerUI、各种不同的附件上传组件、图表组件等等。造成各个项目中用到的组件都不一样，有些...
5hutool实战:IoUtil 流操作工具类（将内容写到流中）
小虚竹的专栏
06-15 1万+
hutool实战:IO工具类（将内容写到流中） 关键字：java java JAVA hutool hutool Hutool 工具类 工具类 工具类 IoUtil IoUtil IoUtil
golang 读写文件的四种方式
热门推荐
whatday的专栏
01-11 2万+
读文件 读取的文件放在file/test：也就是file包下的test这个文件，里面写多一点文件 读文件方式一：利用ioutil.ReadFile直接从文件读取到[]byte中 func Read0() (string){ f, err := ioutil.ReadFile("file/test") if err != nil { fmt.Println(...
Go ioutil.ReadFile 文件读取 一次性读取
小楼一夜听春雨，深巷明朝卖杏花
03-31 1363
一次性读取文件内容ioutil.ReadFile 读取文件的内容并显示在终端（使用ioutil一次将整个文件读入到内存中），这种方式适用于文件不大的情况，如果文件大还是使用上面带缓冲的方式。相关方法和函数（ioutil.ReadFile）文件不需要打开，因为将文件的打开和关闭的整个操作都封装到ReadFile这个函数里面去了。 funcReadFile func ReadFile(filename string) ([]byte, error) ReadFile 从filename指定的文件中...
C++ 学习（15）文件操作、文件文件读与写操作、二进制文件读与写操作
ling1998的博客
07-28 1298
本章主要学习C++文件操作 - 文件文件读（4种操作）与写操作、二进制文件读与写操作，针对这些操作，使用Go语言也实现了一下
Request流只能读取一次的问题
moli138的博客
04-08 353
可以获取到参数，但报了 HttpMessageNotReadableException ，查资料得知 @RequestBody 注解中也使用到了 request 流，查看InputStream的源码可知，读取流的时候会根据position来获取当前位置，并且随着读取来进行位置的移动。如果想要重新读取，可以调用inputstream.reset方法，但是能否reset取决于markSupported方法，返回true可以reset，反之不行。在过滤器中获取 request 所携带的参数，get可以直接由。
Linux输入输出I/O
吴建明wujianming_110117
11-18 418
Linux输入输出I/O 本文主要以一张图介绍Linux在I/O上做了哪些事情，即Linux中直接I/O原理。 引言 先看一张图： 这张图大体上描述了Linux系统上，应用程序对磁盘上的文件进行读写时，从上到下经历了哪些事情。这篇文章就以这张图为基础，介绍Linux在I/O上做了哪些事情。 一、文件系统 （一）什么是文件系统 文件系统，本身是对存储设备上的文件，进行组织管理的机制。组织方式不同，就会形成不同的文件系统。比如常见的Ext4、XFS、ZFS以及网络文件系统NFS等等。 但是不同类型的文件系统标
go io/ioutil文件操作详解
爱死亡机器人
03-11 2280
参考链接： https://www.teakki.com/p/57df64e3da84a0c45338166a
hutool的IoUtil
10-09
hutool的IoUtil是一个文件流操作工具类，提供了一系列便捷的方法，可以方便地进行文件读写操作。 其中比较常用的方法包括： 1. `readBytes(InputStream in)`：读取InputStream中的所有数据到byte数组中。 2. `...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值