ios 音视频处理优化总结

         做了那么多年C底层，现在做iOS上层，感觉还是有很多优势的。做底层的时候就做过音视频的东西，上层有很多类似，相通的东西。

公司做了个视频软件，实时监控。程序丢包严重，卡顿，还会黑屏。我接手之前就是这个样子。经过一天的摸索，结合之前看了一天的经验，把丢包问题，黑屏问题跟卡顿问题通通解决了。

         由于代码不是我写的，我想了个很初级的办法，在所有音视频关键函数打上断点（对xcode来说很方便，体力活），在半个小时内，把视频播放的流程走了一遍。

把音视频路线纪录了下来，把重复进入的无关紧要的函数进行严查，严查程序里用到的所有定时器，特别是耗时的定时器，间隔时间又特别短，发现很多不合理的地方。这些定时器都跟UI没有直接关系，却都跑在主线程，非常占用主线程CPU资源。导致卡顿。分别做了线程runloop处理。

然后是发现一个奇葩的做法，就是用定时器刷新缓冲区，这个是数据接收的缓冲区。间隔时间还特别短。在网络传输高分辨率的图片时，必然造成来不及读取缓冲区，就发现图片已经丢失的情况，造成反复丢帧。我毫不犹豫就把定时器干掉了。至于缓冲区是否会越界，溢出的问题，后面再看。后面发现不会，每次接收都是覆盖缓冲区的。还需要时间检验跟调试工具进一步内存跟踪调试。

再一个发现在跳帧处理的时候，时间逻辑有问题，没有实时更新缓存时间。然后就是frame还在进行插入操作的时候就把frame提前释放的问题。

还有就是OPENGL 转换出RGB数据的时候，数据格式的处理，位数跟深度的处理有误，造成像素没那么高的问题。保存第一帧图片的时候也有这个问题。