快速读写磁盘数据的方法:
1.块读取:一下子将数据读取到内存的(无论是文本还是二进制),而不是一行行的读取。
2.异步的IO,创建多线程,或者使用重叠IO,IO复用,异步的事件回调通知机制(可以用事件对象,信号驱动来实现)。
3.优化分析文件的算法和尽量延后分析,分析算法里面频繁的申请字符串内存和释放字符串内存,尽量用指针解析出来,分析文件的内容可以延期到使用的时候才分析。
如果不注意,不小心 ,读取文件的主要性能消耗将会在这里,所以需要特别高的重视。
4.使用内存文件映射, window是CreateFileMapping,MapViewOfFile,UnmapViewOfFile,CloseHandle;linux是用mmap,munmap,msync,free。
内存文件映射的使用:
(1)大数据量文件的读取,有效的提高磁盘和内存间数据通信的性能;
(2)进程间快速的共享内存,实现进程间高效的通信。
内存映射文件性能高于普通IO的原因:
内存文件映射和普通的文件IO都是要通过文件系统和硬盘驱动拷贝数据到内存中,内存文件映射数据越