Linphone MediaStream2切换display实现方案流程分析

##Linphone MediaStream2切换display实现方案流程分析

1、选择不同的display方案例如普通的 SurfaceView、OpenGL ES 纹理、或 SurfaceTexture。

SurfaceView对应实现类android-display.c
OpenGL ES对应实现类android-opengl-display.c
SurfaceTexture对应实现类android-texture-display.c

流程
linphone_call_init_video_stream(LinphoneCall *call)------->video_stream_new2(MSFactory *factory, const char *ip, int loc_rtp_port, int loc_rtcp_port) ------>video_stream_new_with_sessions(MSFactory *factory, const MSMediaStreamSessions *sessions)-------->choose_display_name(VideoStream *stream)------->ms_factory_get_default_video_renderer(BCTBX_UNUSED(MSFactory *f))

重点关注
const char *ms_factory_get_default_video_renderer(BCTBX_UNUSED(MSFactory *f)) {
#if defined(MS2_WINDOWS_PHONE)
return “MSWP8Dis”;
#elif defined(MS2_WINDOWS_DESKTOP) || defined(MS2_WINDOWS_UWP)
return “MSOGL”;
#elif defined(ANDROID)
// 返回Android平台名称为MSAndroidTextureDisplay的filter，具体查看android-xxx.diaplay.c内的ms_factory_register_filter注册的MSFilterDesc
return “MSAndroidTextureDisplay”;
#elif APPLE && !TARGET_OS_IPHONE
return “MSOSXGLDisplay”;
#elif defined(HAVE_XV)
return “MSX11Video”;
#elif defined(HAVE_GLX)
return “MSGLXVideo”;
#elif TARGET_OS_IPHONE
return “IOSDisplay”;
#elif defined(QNX)
return “MSBB10Display”;
#else
return “MSVideoOut”;
#endif
}

2、通话视频显示的基本原理

以android-texture-display.c为列说明

流程

Mediastream2初始化时会调用libmsandroidtexturedisplay_init()进行注册filter，id和名称分别为MS_ANDROID_TEXTURE_DISPLAY_ID，MSAndroidTextureDisplay（这就是1提到的如何选择display提到）

当上层应用设置视频区域调用video_stream_set_native_window_id(VideoStream *stream, void *id)------->ms_filter_call_method(stream->output,MS_VIDEO_DISPLAY_SET_NATIVE_WINDOW_ID,&id);

最终会调用到android-texture-display.c内的android_texture_display_set_window设置显示的控件视图，在下方方法内arg为TextureView对象
android_texture_display_set_window(MSFilter *f, void *arg)

设置完TextureView控件后进行一系列的初始化校验操作
android_texture_display_create_surface_from_surface_texture(AndroidTextureDisplay *d)
注意传入的TextureView如果是通过代码生成的得在完全加入到View视图后才会生效，否则会提示未初始化解决方案在onSurfaceTextureAvailable内进行操作

接着调用android_texture_display_preprocess(MSFilter *f)进行预处理，这个函数用于在将视频帧送到显示层之前进行预处理。它通常处理那些在渲染之前必须完成的任务，例如格式转换、色彩空间调整或其他预处理操作

最后调用android_texture_display_process(MSFilter *f)进行渲染，这个函数用于实际处理和渲染视频帧。它负责将预处理后的数据渲染到 SurfaceTexture 或 OpenGL ES 纹理上，以便显示在屏幕上