LibVLC for android 解码视频并获取每一帧

一、背景

      最近有一个需求，使用android系统的设备，从IP摄像头（RTSP SERVER）获取到的视频中的每一帧进行处理（人脸检测），直接使用ffmpeg进行实现比较简单，但是苦于对ffmpeg不太熟悉，获取到的视频延迟较高，只好转战看看LibVLC能否获得更好的效果。

        两篇文章帮助较大，在此感谢：

        https://zhuanlan.zhihu.com/p/30595614

        https://www.cnblogs.com/enigma19971/p/6269014.html

二、主要思路

     主要思路是利用libVLC 现有的API：libvlc_video_set_format()  、libvlc_video_set_callbacks() 对libvlc解码后的帧进行截取，然后把设置callback的接口通过JNI暴露给JAVA层。这两个函数都在libvlc_media_player.h中有具体的说明。下面分别进行分析。

三、 具体实现

3.1 Lib层

3.1.1 libvlc_video_set_format() ：

以下截取自"libvlc_media_player.h"

/**
 * Set decoded video chroma and dimensions.
 * This only works in combination with libvlc_video_set_callbacks(),
 * and is mutually exclusive with libvlc_video_set_format_callbacks().
 *
 * \param mp the media player
 * \param chroma a four-characters string identifying the chroma
 *               (e.g. "RV32" or "YUYV")
 * \param width pixel width
 * \param height pixel height
 * \param pitch line pitch (in bytes)
 * \version LibVLC 1.1.1 or later
 * \bug All pixel planes are expected to have the same pitch.
 * To use the YCbCr color space with chrominance subsampling,
 * consider using libvlc_video_set_format_callbacks() instead.
 */
LIBVLC_API
void libvlc_video_set_format( libvlc_media_player_t *mp, const char *chroma,
                              unsigned width, unsigned height,
                              unsigned pitch );

该函数的作用是设置你希望的输出帧的格式和尺寸，libvlc会非常卖力地帮你解码，然后转换成你希望的格式。

· chroma为视频输出帧格式的选择，可以是常用的YUYV、NV12、RGBA等各种格式；

· width、height为你希望输出的帧的长宽；

· pitch 直接的翻译是“场”，它的值是 帧宽度 × 每个像素所占的字节数，当然每个像素的字节数是由你选择的帧格式决定的，比如RGBA一个像素4个字节，YUYV一个像素1.5个字节。具体自己问google。

3.1.2 libvlc_video_set_callbacks()：

以下截取自"