fwrite 出现写入超慢的原因

2019独角兽企业重金招聘Python工程师标准>>>

一、产生背景
    由于工作需要不断升级软件版本，无论是fix bug还是更改新的模块。然而发布软件，是件繁琐又重复的工作，并且由于手动操作的步骤较繁杂，极易出错。所以，考虑采用一种方法在服务器环境下，实现onekey software release。发布的软件包包括，USB升级文件(usb_upgrase.bin)和OTA码流格式的升级文件(ota_upgrade.ts).相关领命和针对不同的客户，写入一个shell脚本控制。只需要运行这个shell脚本就可以实现升级软件的打包和SVN自动上传

二、USB打包时，生成 usb_upgrase.bin，速度超慢
    打包的生成某种格式，就是读取各个分区文件的数据，然后加上相应的Header和CRC校验码，一起写入到某个文件流中。
其中，当调用fwrite，需要一次性写入100M数据时，速度超慢，10Min还未写完。 开始怀疑代码问题，不断跟踪代码， 发现当写入几十KB文件大小时，速度很快，没问题。一旦写入的数据上百MB，速度奇慢无比。

三、问题解决
    后来，突然想到，以前遇到过类似情况。由于我的开发和调试时在VMware虚拟机下，并且同WIN7，共享。而生成的文件也在共享目录，/mnt/hgfs/linux/下。突然想到，很有可能是磁盘文件格式不同，导致的原因。因为在共享目录下，既支持windows的文件格式，又支持虚拟机下linux的文件磁盘格式，会产生冲突。将生成的文件目录拷贝/home/workspace/下，问题解决，升级文件快速生成。

转载于:https://my.oschina.net/mavericsoung/blog/138848