ios android p2p,iOS ijkPlayer改为p2p帧模式播放

像一些安防产品，都是通过设备采集到音视频数据，然后通过p2p方式发送到手机端，手机端需要播放发送过来的每一帧音视频。我们来讨论下，如何修改ijkPlayer，让它支持按帧播放视频。

iOS的ijkPlayer只提供通过url方式播放。这里修改的总体思路是通过AVIO的方式，修改源码打开url的接口avformat_open_input。具体修改如下：

一、底层修改

ff_ffplay.c大概3144行

if(ffp->useMemPlay){

//通过IO方式播放

unsigned char *aviobuffer=(unsigned char *)av_malloc(VIDEO_BUFFER_SIZE);

avio =avio_alloc_context(aviobuffer, VIDEO_BUFFER_SIZE,0,NULL,&read_buffer,NULL,NULL);

ic->pb = avio;

ic->flags |= AVFMT_FLAG_CUSTOM_IO;

err = avformat_open_input(&ic, 0, 0, &ffp->format_opts);

}else{

//通过url方式播放

err = avformat_open_input(&ic, is->filename, is->iformat, &ffp->format_opts);

}

ffp->useMemPlay是我加的一个变量，来控制是通过IO方式，还是url方式播放。

read_buffer回调函数，通过这个函数要数据：

static int read_buffer(void *opaque, uint8_t *buf, int buf_size){

return my_read_packet_func(tmpOpaque,buf,buf_size);

}

我这里把要数据的回调执行了OC层，中间进行了一些传递。理解思路的话，下面代码不是重点：

#define VIDEO_BUFFER_SIZE 40960

typedef int (*read_packet_func)(void *opaque, uint8_t *buf, int buf_size);

read_packet_func my_read_packet_func = NULL;

void *tmpOpaque = NULL;

//设置回调函数

void ffp_global_set_readFromMem(void *sopaque, int (*read_packet)(void *opaque, uint8_t *buf, int buf_size))

{

tmpOpaque = sopaque;

my_read_packet_func = read_packet;

}

ff_ffplay.h

//定义设置回调函数

void ffp_global_set_readFromMem(void *sopaque, int (*read_packet)(void *opaque, uint8_t *buf, int buf_size));

中间层传递的部分：

ijkplayer.h

//by alex 从内存获取数据的回调

void ijkmp_global_set_readFromMem(IjkMediaPlayer *mp, void *opaque, int (*read_packet)(void *opaque,uint8_t *buf, int buf_size));

ijkplayer.h

//by alex 从内存获取数据的回调

void ijkmp_global_set_readFromMem(IjkMediaPlayer *mp, void *opaque, int (*read_packet)(void *opaque,uint8_t *buf, int buf_size))

{

mp->ffplayer->useMemPlay = 1;

ffp_global_set_readFromMem(opaque,read_packet);

}

二、OC层修改

IJKFFMoviePlayerController.h

//传入annex-b格式的视频帧数据

- (void)inputFrameData:(NSData *)data;

IJKFFMoviePlayerController.m

//在prepareToPlay加入

ijkmp_global_set_readFromMem(_mediaPlayer,(__bridge void *)self,read_buffer);

//消费者与生产者函数

//by alex

static int read_buffer(void *opaque, uint8_t *buf, int buf_size){

if(opaque==NULL){

printf("read error\n");

return -1;

}

IJKFFMoviePlayerController *opt = (__bridge IJKFFMoviePlayerController *)opaque;

return [opt getVideoData:buf length:buf_size];

}

//by alex

- (void)inputFrameData:(NSData *)data{

if(data.length>0){

[_condition lock];

[self.mulFrameData appendData:data];

[_condition signal];

[_condition unlock];

}

// NSLog(@"[cloudVideoMux]input data=%zi",data.length);

}

- (int)getVideoData:(void *)buffer length:(int)length{

int rtn = 0;

[_condition lock];

int size = (int)[self.mulFrameData length];

if(size<=0){

[_condition wait];

}

size = (int)[self.mulFrameData length];

if (size >= length) {

[self.mulFrameData getBytes:buffer length:length];

[self.mulFrameData replaceBytesInRange:NSMakeRange(0, length) withBytes:nil length:0];

rtn = length;

}else{

[self.mulFrameData getBytes:buffer length:size];

[self.mulFrameData setLength:0];

rtn = size;

}

NSLog(@"[cloudVideoMux]get size=%d len=%d",rtn,length);

[_condition unlock];

return rtn;

}

整体思路如上面所示。部分变量可能未写出来。需要注意的地方，消费者和生产者部分得使用条件锁的方式。如果getVideoData返回0了，可能后面av_read_frame读到的都是end_of_file了，播放会停止。

通过上面的修改。基本可以实现播放。但是还是会有不少问题：

1、硬解不支持动态分辨率

2、硬解不支持H265格式

后面再讨论如何解决。

因为我是直接在ijkplayer那个demo上修改调试，所以不可能上传它的全部代码。我只是上传了需修改的文件。上面不是一个完整的可运行的demo。

VideoLiveTestVC：是读取裸流H264文件，并读取为一帧帧的数据。我使用这个来调试