音视频效果处理之音视频变速播放实现（三）

于 2024-05-11 21:00:21 发布
阅读量520 收藏 18
点赞数 22
分类专栏： 程序员 文章标签： 音视频
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83641533/article/details/138729843
版权

}
#else
SDL_AoutSetPlaybackRate(ffp->aout, ffp->pf_playback_rate);
#endif
}
if (ffp->pf_playback_volume_changed) {
ffp->pf_playback_volume_changed = 0;
SDL_AoutSetPlaybackVolume(ffp->aout, ffp->pf_playback_volume);
}

上面主要处理对ffp->pf_playback_rate_changed的判断，如果没有开启soundtouch变速或sonic变速，直接走audiotrack的变速来处理。在android6.0系统之下，audiotrack的变速存在变调问题。

从上面我们可以看到这里处理了音频的变速，但是没有处理只有视频流的视频（也就是没有音频流）。

3.视频变速实现

ijk中默认选择音频流作为时间基准的，我们看下视频是如何来做变速的。视频上很容易就可以做到倍速播放，一般的视频格式都是每秒固定的帧数，按比例跳帧就可以了。

static void video_refresh(FFPlayer *opaque, double *remaining_time)
{
FFPlayer *ffp = opaque;
VideoState *is = ffp->is;
double time;

Frame *sp, *sp2;
if (!is->paused && get_master_sync_type(is) == AV_SYNC_EXTERNAL_CLOCK && is->realtime)
check_external_clock_speed(is);

if (!ffp->display_disable && is->show_mode != SHOW_MODE_VIDEO && is->audio_st) {
time = av_gettime_relative() / 1000000.0;
if (is->force_refresh || is->last_vis_time + ffp->rdftspeed < time) {
video_display2(ffp);
is->last_vis_time = time;
}
*remaining_time = FFMIN(*remaining_time, is->last_vis_time + ffp->rdftspeed - time);
}

if (is->video_st) {
retry:
//add by hxk,support only video change speed
if(!is->audio_st && get_master_sync_type(is) == AV_SYNC_EXTERNAL_CLOCK) {

if(ffp->pf_playback_rate != 1.0f){
change_external_clock_speed(is,ffp->pf_playback_rate);
}
}
//add end
if (frame_queue_nb_remaining(&is->pictq) == 0) {
// nothing to do, no picture to display in the queue
} else {
double last_duration, duration, delay;
Frame *vp, *lastvp;

/* dequeue the picture */
lastvp = frame_queue_peek_last(&is->pictq);
vp = frame_queue_peek(&is->pictq);

if (vp->serial != is->videoq.serial) {
frame_queue_next(&is->pictq);
goto retry;
}

if (lastvp->serial != vp->serial)
is->frame_timer = av_gettime_relative() / 1000000.0;

if (is->paused)
goto display;

/* compute nominal last_duration */
last_duration = vp_duration(is, lastvp, vp);
delay = compute_target_delay(ffp, last_duration, is);

time= av_gettime_relative()/1000000.0;
if (isnan(is->frame_timer) || time < is->frame_timer)
is->frame_timer = time;
if (time < is->frame_timer + delay) {
*remaining_time = FFMIN(is->frame_timer + delay - time, *remaining_time);
goto display;
}

is->frame_timer += delay;
if (delay > 0 && time - is->frame_timer > AV_SYNC_THRESHOLD_MAX)
is->frame_timer = time;

SDL_LockMutex(is->pictq.mutex);
if (!isnan(vp->pts))
update_video_pts(is, vp->pts, vp->pos, vp->serial);
SDL_UnlockMutex(is->pictq.mutex);

if (frame_queue_nb_remaining(&is->pictq) > 1) {
Frame *nextvp = frame_queue_peek_next(&is->pictq);
duration = vp_duration(is, vp, nextvp);
if(!is->step && (ffp->framedrop > 0 || (ffp->framedrop && get_master_sync_type(is) != AV_SYNC_VIDEO_MASTER)) && time > is->frame_timer + duration) {
frame_queue_next(&is->pictq);
goto retry;
}
}

if (is->subtitle_st) {
while (frame_queue_nb_remaining(&is->subpq) > 0) {
sp = frame_queue_peek(&is->subpq);

if (frame_queue_nb_remaining(&is->subpq) > 1)
sp2 = frame_queue_peek_next(&is->subpq);
else
sp2 = NULL;

if (sp->serial != is->subtitleq.serial
|| (is->vidclk.pts > (sp->pts + ((float) sp->sub.end_display_time / 1000)))
|| (sp2 && is->vidclk.pts > (sp2->pts + ((float) sp2->sub.start_display_time / 1000))))
{
if (sp->uploaded) {
ffp_notify_msg4(ffp, FFP_MSG_TIMED_TEXT, 0, 0, “”, 1);
}
frame_queue_next(&is->subpq);
} else {
break;
}
}
}

frame_queue_next(&is->pictq);
is->force_refresh = 1;

SDL_LockMutex(ffp->is->play_mutex);
if (is->step) {
is->step = 0;
if (!is->paused)
stream_update_pause_l(ffp);
}
SDL_UnlockMutex(ffp->is->play_mutex);
}
display:
/* display picture */
if (!ffp->display_disable && is->force_refresh && is->show_mode == SHOW_MODE_VIDEO && is->pictq.rindex_shown)
video_display2(ffp);
}
is->force_refresh = 0;
if (ffp->show_status) {
static int64_t last_time;
int64_t cur_time;
int aqsize, vqsize, sqsize __unused;
double av_diff;

cur_time = av_gettime_relative();
if (!last_time || (cur_time - last_time) >= 30000) {
aqsize = 0;
vqsize = 0;
sqsize = 0;
if (is->audio_st)
aqsize = is->audioq.size;
if (is->video_st)
vqsize = is->videoq.size;
#ifdef FFP_MERGE
if (is->subtitle_st)
sqsize = is->subtitleq.size;
#else
sqsize = 0;
#endif
av_diff = 0;
if (is->audio_st && is->video_st)
av_diff = get_clock(&is->audclk) - get_clock(&is->vidclk);
else if (is->video_st)
av_diff = get_master_clock(is) - get_clock(&is->vidclk);
else if (is->audio_st)
av_diff = get_master_clock(is) - get_clock(&is->audclk);
av_log(NULL, AV_LOG_INFO,
“%7.2f %s:%7.3f fd=%4d aq=%5dKB vq=%5dKB sq=%5dB f=%“PRId64”/%“PRId64” \r”,
get_master_clock(is),
(is->audio_st && is->video_st) ? “A-V” : (is->video_st ? “M-V” : (is->audio_st ? “M-A” : " ")),
av_diff,
is->frame_drops_early + is->frame_drops_late,
aqsize / 1024,
vqsize / 1024,
sqsize,
is->video_st ? is->viddec.avctx->pts_correction_num_faulty_dts : 0,
is->video_st ? is->viddec.avctx->pts_correction_num_faulty_pts : 0);
fflush(stdout);
last_time = cur_time;
}
}
}

其实这里就是视频变速的实现，也是视频同步音频的实现，来实现视频变速。

3.1.没有音频的视频变速

通过前面的分析，我们可以知道ijk没有处理只有视频流的视频变速(没有音频流的视频)。当没有音频流的时候，在read_thread函数中

/* open the streams */
if (st_index[AVMEDIA_TYPE_AUDIO] >= 0) {
stream_component_open(ffp, st_index[AVMEDIA_TYPE_AUDIO]);
} else {//如果没有音频流
ffp->av_sync_type = AV_SYNC_VIDEO_MASTER;
is->av_sync_type = ffp->av_sync_type;
}

我们可以看到如果没有音频流，ijk中选择视频流作为时间基准。个人觉得还是外部时钟作为时间基准比较好，比较准。

那么我们可以如何修改呢？

3.1.1.修改没有音频的视频的同步方式为外部时钟

/* open the streams */
if (st_index[AVMEDIA_TYPE_AUDIO] >= 0) {
stream_component_open(ffp, st_index[AVMEDIA_TYPE_AUDIO]);
} else {
ffp->av_sync_type = AV_SYNC_EXTERNAL_CLOCK;
is->av_sync_type = ffp->av_sync_type;
}

当没有音频流的时候，选择外部时钟作为时间基准。

3.1.2.修改外部时钟变速

修改video_refresh函数

/* called to display each frame */
static void video_refresh(FFPlayer *opaque, double *remaining_time)
{
FFPlayer *ffp = opaque;
VideoState *is = ffp->is;
double time;

Frame *sp, *sp2;
if (!is->paused && get_master_sync_type(is) == AV_SYNC_EXTERNAL_CLOCK && is->realtime)
check_external_clock_speed(is);

if (!ffp->display_disable && is->show_mode != SHOW_MODE_VIDEO && is->audio_st) {
time = av_gettime_relative() / 1000000.0;
if (is->force_refresh || is->last_vis_time + ffp->rdftspeed < time) {
video_display2(ffp);
is->last_vis_time = time;
}
*remaining_time = FFMIN(*remaining_time, is->last_vis_time + ffp->rdftspeed - time);
}

if (is->video_st) {
retry:
//当没有音频流的，有视频流时，且时间基准为外部时钟
//add by hxk,support only video change speed
if(!is->audio_st && get_master_sync_type(is) == AV_SYNC_EXTERNAL_CLOCK) {
//如果速度不等于1，改变外部时钟速度
if(ffp->pf_playback_rate != 1.0f){
change_external_clock_speed(is,ffp->pf_playback_rate);
}
}
//add end
if (frame_queue_nb_remaining(&is->pictq) == 0) {
// nothing to do, no picture to display in the queue
} else {
double last_duration, duration, delay;
Frame *vp, *lastvp;

/* dequeue the picture */
lastvp = frame_queue_peek_last(&is->pictq);
vp = frame_queue_peek(&is->pictq);

if (vp->serial != is->videoq.serial) {
frame_queue_next(&is->pictq);
goto retry;
}

if (lastvp->serial != vp->serial)
is->frame_timer = av_gettime_relative() / 1000000.0;

if (is->paused)
goto display;

/* compute nominal last_duration */
last_duration = vp_duration(is, lastvp, vp);
delay = compute_target_delay(ffp, last_duration, is);

time= av_gettime_relative()/1000000.0;
if (isnan(is->frame_timer) || time < is->frame_timer)
is->frame_timer = time;
if (time < is->frame_timer + delay) {
*remaining_time = FFMIN(is->frame_timer + delay - time, *remaining_time);
goto display;
}

is->frame_timer += delay;
if (delay > 0 && time - is->frame_timer > AV_SYNC_THRESHOLD_MAX)
is->frame_timer = time;

SDL_LockMutex(is->pictq.mutex);
if (!isnan(vp->pts))
update_video_pts(is, vp->pts, vp->pos, vp->serial);
SDL_UnlockMutex(is->pictq.mutex);

if (frame_queue_nb_remaining(&is->pictq) > 1) {
Frame *nextvp = frame_queue_peek_next(&is->pictq);
duration = vp_duration(is, vp, nextvp);
if(!is->step && (ffp->framedrop > 0 || (ffp->framedrop && get_master_sync_type(is) != AV_SYNC_VIDEO_MASTER)) && time > is->frame_timer + duration) {
frame_queue_next(&is->pictq);
goto retry;
}
}

if (is->subtitle_st) {
while (frame_queue_nb_remaining(&is->subpq) > 0) {
sp = frame_queue_peek(&is->subpq);

if (frame_queue_nb_remaining(&is->subpq) > 1)
sp2 = frame_queue_peek_next(&is->subpq);
else
sp2 = NULL;

if (sp->serial != is->subtitleq.serial
|| (is->vidclk.pts > (sp->pts + ((float) sp->sub.end_display_time / 1000)))
|| (sp2 && is->vidclk.pts > (sp2->pts + ((float) sp2->sub.start_display_time / 1000))))
{
if (sp->uploaded) {
ffp_notify_msg4(ffp, FFP_MSG_TIMED_TEXT, 0, 0, “”, 1);
}
frame_queue_next(&is->subpq);
} else {
break;
}
}
}

frame_queue_next(&is->pictq);
is->force_refresh = 1;

SDL_LockMutex(ffp->is->play_mutex);
if (is->step) {
is->step = 0;
if (!is->paused)
stream_update_pause_l(ffp);
}
SDL_UnlockMutex(ffp->is->play_mutex);
}
display:

最后

想要了解更多关于大厂面试的同学可以点赞支持一下，除此之外，我也分享一些优质资源，包括：Android学习PDF+架构视频+源码笔记，高级架构技术进阶脑图、Android开发面试专题资料，高级进阶架构资料 这几块的内容。非常适合近期有面试和想在技术道路上继续精进的朋友。
《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》，点击传送门，即可获取！

2401_83641533
关注
  • 22
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ijkplayer-音视频变速播放实现
Mr_xkHuang的专栏
04-24 4087
本文主要分析变速播放框架实现细节，不分析sonic以及soundtouch变速算法。在我的sonic变速变调原理一文中会详细讲解基于基音周期来实现变速变调的原理 1.变速入口分析 从jni层的_setPropertyFloat函数 static void ijkMediaPlayer_setPropertyFloat(JNIEnv *env, jobject thiz, jint id, jflo...
java 音频变调_开源播放器 ijkplayer (二) ：ijkplayer倍速变调问题解决方案
weixin_39612122的博客
02-25 601
之前使用IjkPlayer做播放器的使用的时候，在做倍速播放的时候，发现播放的声音音调明显变高了。问题的详情参见在解决问题之前首先对倍速的代码做一次追踪a. Android应用中Java层面调用的代码：public void setSpeed(floatspeed) {_setPropertyFloat(FFP_PROP_FLOAT_PLAYBACK_RATE, speed);}public fl...
音频倍速（变速不变调）的实现
热门推荐
小伙儿在这儿烤地瓜
08-15 2万+
背景：         项目需要，开发一款自己的安卓端播放器，其中需要有一个视频倍速播放的功能。需要实现的效果是变速不变调。项目基于FFMpeg和WebRtc，通过FFMpeg从网络读取视频流，经过解封装、解复用分离成音频数据包和视频数据包。并分别对音视频数据包进行解码，解码完成之后的音频PCM（44100Hz，16bit，MONO）数据通过WebRtc提供的接口抛给AudioTrack，视
ijkplayer源码---倍速
qq_15255121的专栏
03-18 1153
我们看播放器都有倍速功能，倍速又是怎么实现的呢？ public void setSpeed(float speed) { _setPropertyFloat(FFP_PROP_FLOAT_PLAYBACK_RATE, speed); } public float getSpeed(float speed) { return _getPropertyFloat(FFP_PROP_FLOAT_PLAYBACK_RATE, .0f); } { "_setPropertyFloat",
开源播放器 ijkplayer (一) ：使用Ijkplayer播放直播视频
weixin_34050005的博客
02-27 657
1、ijkplayer 编码 IjkPlayer支持硬解码和软解码。 软解码时不会旋转视频角度这时需要你通过onInfo的what == IMediaPlayer.MEDIA_INFO_VIDEO_ROTATION_CHANGED去获取角度，自己旋转画面。或者开启硬解硬解码，不过硬解码容易造成黑屏无声（硬件兼容问题），下面是设置硬解码相关的代码 mediaPlayer.setOption(Ijk...
基于matlab的语音信号的变调与变速仿真+含代码操作演示视频
05-24
基于matlab的语音信号的变调与变速仿真+含代码操作演示视频 运行注意事项：使用matlab2021a或者更高版本测试，运行里面的Runme.m文件，不要直接运行子函数文件。运行时注意matlab左侧的当前文件夹窗口必须是当前工程...
matlab仿真相位声码器（phase vocoder）实现声音变速不变调和变调不变速
03-22
使用matlab仿真；包含原声频和升速降速升调降调后的音频；并对比导出了不同处理声音的时域频谱图
音视频-直播技术-机械变速器啸叫声成因分析及降噪研究.pdf
04-19
音视频-直播技术-机械变速器啸叫声成因分析及降噪研究.pdf
swift-秒级!三行代码实现iOS视频压缩变速混音合并水印旋转换音裁剪
08-15
秒级! 三行代码实现iOS视频压缩、变速、混音、合并、水印、旋转、换音、裁剪 ! 支持不同分辩率，支持你能想到的各种混合操作! 更多功能不断增加中... iOS 8.0
音视频-直播技术-齿面微观修形在汽车变速器降噪中的应用与研究.pdf
04-19
音视频-直播技术-齿面微观修形在汽车变速器降噪中的应用与研究.pdf
android ijkplayer使用_Android 贴心的音视频学习指南来咯！
weixin_39533742的博客
11-27 375
假期只剩下双休了，提前开工了。两年前，这边就推送过一篇音视频学习之路的文章：Android 音视频开发学习之路最近刚好又发现DevYk更新了一篇从零基础入门的文章，大家可以两篇配合的一起学习。DevYk这篇的好处就是，除了孤零零的知识点，还提供了完整的系列文章配开源项目一起学习。开始吧。1前言2020 年要属什么最火，肯定是短视频和直播带货了。我自己基本上每天晚上睡觉之前都会刷一会儿 d...
android 多媒体播放视频视频画面被拉伸
qq_36390114的博客
02-01 3724
原理是调整surfaceView大小。分为两种，一种是mediaplayer(ijkmediaplayer,exoplayer)+surfaceView,在onVideoSizeChanged（）方法中调整surfaceView大小即可。 1.//一定要在setOnVideoSizeChangedListener方法中调用 mediaPlayer.setOnVideoSizeChangedListener(new MediaPlayer.OnVideoSizeChangedListener() { @Ov
基于IjkMediaPlayer的播放器
天花板的随笔
03-19 6573
作为一个练手项目，基于IjkMediaPlayer的仿照腾讯视频风格的播放器，支持全屏缩放，对其中核心的代码做记录。 播放器总体架构如图所示： player是继承frameLayout，自己内部拥有IjkMediaPlayer的实例，以及做渲染显示用的TextureView，同时player只有一个mContainer子控件，mContainer同样也是一个frameLayout容器，容纳Tex...
ijkplayer倍速变声的问题
我的专栏
06-26 1991
我们的项目有一个要求，要能实现倍速播放。在几个文案中我最终选择了ijkplayer，在解决了一系列问题后终于可以正常播放音视频了，却发现在倍速的时候在某些手机上声音变调了，变得很怪。于是网上查了一下，解决方案： 网上说0.8.8版本解决变声，不需要重新编译c代码，只需要在java代码里加上如下配置： ijkMediaPlayer.setOption(IjkMediaPlayer.OPT...
ijkplayer处理没有音频流的视频（播放速度）
qwe0ytr的专栏
09-17 711
ijkplayer编译参考的是B站上的全网唯一的 Android - NDK ijkplayer 编译 | 音视频开发 Android_哔哩哔哩_bilibili 编译成功后可以得到想要的so文件 但和项目需求有一定出入，项目中有静音功能，没有录制音频，故改变播放速度（倍速）的时候对没有音频的文件没有效果。解决方案：ijkplayer-音视频变速播放实现_Mr_xkHuang的专栏-CSDN博客 1.修改ff-ffplay.c文件里面的方法 总共有三处修改点 第一处：只需要修改它的时间基准即可，大
android rtsp 延时,ijkplayer 单视频流直播延迟问题解决过程
weixin_33289964的博客
05-28 1457
一开始我尝试是通过设置ijkplayer的参数去修改延迟，参数的修改能把ijkplayer的开播延迟拉到200ms左右，但是随着播放时间增加延迟也在增加，然后带着问题去网上寻找答案，找到暴走大牙和Gongjia两位大神的解决方案，但是这种方案仅适用于带有音频流的，现在适配的流仅有视频流，用了这两位的方案后，丢帧是可以，但是延迟的问题并没有解决，因为没有音频流的视频的时间基准是用视频流的时间，丢完帧...
ijkplayer-丢帧策略深入分析
Mr_xkHuang的专栏
04-24 3171
1.测试拿过来个视频，发现用ijk播放器与系统播放器（mediaplayer）播放感觉不一样，用ijk播放感觉播放页面卡顿一点，没有系统播放器那么流畅。 下面看一下这个问题，这个问题的原因其实很简单，由于我丢帧值设置的是5，改成1就可以感觉2个播放器在体验上感觉差不多了。（丢5帧人眼就可以看出来差别了！）。 2.在高通660的机器上播放一个4k（30fps）视频，但是无法正常播放，实际一秒的...
ijkplayer加速播放
xhzth70911的博客
06-15 1999
最新在写一个公司的直播类项目，要求视频播放延迟200毫秒以内,采用kcp协议，ijkplayer做接收端的播放器，ijkplayer加速播放的地方做个记录，以免自己忘记 修改ijkplayer/ijkmedia/ijkplayer/ff_ffplay.c里的 static int ffplay_video_thread 这个方法 static int ffplay_video_thread(void *arg) { FFPlayer *ffp = arg; VideoState *is =
ffmpeg音视频基础
最新发布
04-22
FFmpeg是一个开源的音视频处理工具集，它提供了一系列的命令行工具和库函数，可以用于处理、转码、编辑和播放音视频文件。下面是FFmpeg音视频基础的介绍： 1. 音视频格式：FFmpeg支持多种音视频格式，包括常见的MP3、AAC、AVI、MP4等。它可以进行音视频格式的转换和解码。 2. 编解码器：FFmpeg支持多种音视频编解码器，用于将音视频数据进行压缩和解压缩。例如，H.264是一种常用的视频编码器，AAC是一种常用的音频编码器。 3. 视频处理：FFmpeg可以进行视频的裁剪、旋转、缩放、合并等操作。你可以使用FFmpeg命令行工具或者调用FFmpeg库函数来实现这些功能。 4. 音频处理：FFmpeg可以进行音频的剪切、混音、变速、变调等操作。你可以使用FFmpeg命令行工具或者调用FFmpeg库函数来实现这些功能。 5. 流媒体处理：FFmpeg可以进行流媒体的推流和拉流操作，支持常见的协议如RTMP、HLS等。你可以使用FFmpeg命令行工具或者调用FFmpeg库函数来实现这些功能。 6. 视频过滤器：FFmpeg提供了丰富的视频过滤器，可以对视频进行滤镜、特效、调色等处理。你可以使用FFmpeg命令行工具或者调用FFmpeg库函数来实现这些功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值