带着问题，再读ijkplayer源码

最新推荐文章于 2024-08-22 09:17:11 发布

Ch97CKd

最新推荐文章于 2024-08-22 09:17:11 发布

阅读量1.5k

点赞数

本文链接：https://blog.csdn.net/Ch97CKd/article/details/85817033

版权

本文详细分析了ijkplayer的源码，涵盖了数据流向、内存管理、音视频同步、seek处理等方面。重点讨论了缓冲区设计，如packetQueue和frameQueue的实现，以及packet和frame的内存管理策略。此外，还探讨了音视频的播放方式，特别是音频和视频帧的处理。最后，文章介绍了ijkplayer的音视频同步机制，强调了同步钟在不同场景下的应用和修正。

摘要由CSDN通过智能技术生成

640?wx_fmt=png

问题

主流程上的区别
缓冲区的设计
内存管理的逻辑
音视频播放方式
音视频同步
seek的问题：缓冲区flush、播放时间显示、k帧间距大时定位不准问题…
stop时怎么释放资源，是否切换到副线程？
网络不好时的处理，如获取frame速度慢于消耗速度时，如果不暂停，会一致卡顿，是否会主动暂停？
VTB的解码和ffmpeg的解码怎么统一的？架构上怎么设计的？

数据流向

主流程更详细看ijkPlayer主流程分析

音频

av_read_frame
packet_queue_put
audio_thread+decoder_decode_frame+packet_queue_get_or_buffering
frame_queue_peek_writable+frame_queue_push
audio_decode_frame+frame_queue_peek_readable,数据到is->audio_buf

sdl_audio_callback，数据导入到参数stream里。这个函数是上层的音频播放库的buffer填充函数，如iOS里使用audioQueue,回调函数IJKSDLAudioQueueOuptutCallback调用到这里，然后把数据传入到audioQueue.

视频

读取packet部分一样

video_thread，然后ffpipenode_run_sync里硬解码定位到videotoolbox_video_thread,然后ffp_packet_queue_get_or_buffering读取。

VTDecoderCallback解码完成回调里，SortQueuePush(ctx, newFrame);把解码后的pixelBuffer装入到一个有序的队列里。

GetVTBPicture从有序队列里把frame的封装拿出来，也就是这个有序队列只是一个临时的用来排序的工具罢了，这个思想是可以吸收的；queue_picture里，把解码的frame放入frame缓冲区
显示video_refresh+video_image_display2+[IJKSDLGLView display:]

最后的纹理生成放在了render里，对vtb的pixelBuffer,在yuv420sp_vtb_uploadTexture。使用render这个角色，渲染的部分都抽象出来了。shader在IJK_GLES2_getFragmentShader_yuv420sp

结论：主流程上没有大的差别。

缓冲区的设计

packetQueue:

1、数据结构设计

packetQueue采用两条链表，一个是保存数据的链表，一个是复用节点链表，保存没有数据的那些节点。数据链表从first_pkt到last_pkt,插入数据接到last_pkt的后面，取数据从first_pkt拿。复用链表的开头是recycle_pkt，取完数据后的空节点，放到空链表recycle_pkt的头部，然后这个空节点成为新的recycle_pkt。存数据时，也从recycle_pkt复用一个节点。
链表的节点像是包装盒，装载数据的时候放到数据链表，数据取出后回归到复用链表。

2、进出的阻塞控制

取数据的时候可能没有，那么就有几种处理：直接返回、阻塞等待。它这里的处理是阻塞等待，并且会把视频播放暂停。所以这个回答了问题8，外面看到的效果就是：网络卡的时候，会停止播放然后流畅的播放一会，然后又继续卡顿，播放和卡顿是清晰分隔的。
进数据的时候并没有做阻塞控制，为什么数据不会无限扩大?
是有阻塞的，但阻塞不是在packetQueue里面，而是在readFrame函数里：

if (ffp->infinite_buffer<1 && !is->seek_req &&
             (is->audioq.size + is->videoq.size + is->subtitleq.size > ffp->dcc.max_buffer_size
           || (   stream_has_enough_packets(is->audio_st, is->audio_stream, &is->audioq, MIN_FRAMES)
               && stream_has_enough_packets(is->video_st, is->video_stream, &is->videoq, MIN_FRAMES)
               && stream_has_enough_packets(is->subtitle_st, is->subtitle_stream, &is->subtitleq, MIN_FRAMES)))) {
           if (!is->eof) {
               ffp_toggle_buffering(ffp, 0);
           }
           /* wait 10 ms */
           SDL_LockMutex(wait_mutex);
           SDL_CondWaitTimeout(is->continue_read_thread, wait_mutex, 10);
           SDL_UnlockMutex(wait_mutex);
           continue;
       }