FFmpeg 之音视频解码与音视频同步（二）

最新推荐文章于 2024-06-04 19:11:53 发布

2301_82242251

最新推荐文章于 2024-06-04 19:11:53 发布

阅读量987

点赞数 8

分类专栏：程序员文章标签： ffmpeg 音视频

本文链接：https://blog.csdn.net/2301_82242251/article/details/137187975

版权

程序员专栏收录该内容

448 篇文章 1 订阅

订阅专栏

//打开解码器，解码器有问题（比如说我们编译FFmpeg的时候没有编译对应类型的解码器）

if (avcodec_open2(pCodecCtx, pCodec, NULL) < 0) {

LOGE(“%s”, “解码器无法打开\n”);

return;

}

//输出视频信息

LOGI(“视频的文件格式：%s”, pFormatCtx->iformat->name);

LOGI(“视频时长：%lld”, (pFormatCtx->duration) / (1000 * 1000));

LOGI(“视频的宽高：%d,%d”, pCodecCtx->width, pCodecCtx->height);

LOGI(“解码器的名称：%s”, pCodec->name);

//准备读取

//AVPacket用于存储一帧一帧的压缩数据（H264）

//缓冲区，开辟空间

AVPacket *packet = (AVPacket *) av_malloc(sizeof(AVPacket));

//AVFrame用于存储解码后的像素数据(YUV)

//内存分配

AVFrame *pFrame = av_frame_alloc();

//YUV420

AVFrame *pFrameYUV = av_frame_alloc();

//只有指定了AVFrame的像素格式、画面大小才能真正分配内存

//缓冲区分配内存

uint8_t *out_buffer = (uint8_t *) av_malloc(

avpicture_get_size(AV_PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height));

//初始化缓冲区

avpicture_fill((AVPicture *) pFrameYUV, out_buffer, AV_PIX_FMT_YUV420P, pCodecCtx->width,

pCodecCtx->height);

//用于转码（缩放）的参数，转之前的宽高，转之后的宽高，格式等

struct SwsContext *sws_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height,

pCodecCtx->pix_fmt,

pCodecCtx->width, pCodecCtx->height,

AV_PIX_FMT_YUV420P,

SWS_BICUBIC, NULL, NULL, NULL);

int got_picture, ret;

//输出文件

FILE *fp_yuv = fopen(output, “wb+”);

int frame_count = 0;

//一帧一帧的读取压缩数据

while (av_read_frame(pFormatCtx, packet) >= 0) {

//只要视频压缩数据（根据流的索引位置判断）

if (packet->stream_index == v_stream_idx) {

//解码一帧视频压缩数据，得到视频像素数据

ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);

if (ret < 0) {

LOGE(“%s”, “解码错误”);

return;

}

//为 0 说明解码完成，非0正在解码

if (got_picture) {

//AVFrame转为像素格式YUV420，宽高

//2 6输入、输出数据

//3 7输入、输出画面一行的数据的大小 AVFrame 转换是一行一行转换的

//4 输入数据第一列要转码的位置从0开始

//5 输入画面的高度

sws_scale(sws_ctx, pFrame->data, pFrame->linesize, 0, pCodecCtx->height,

pFrameYUV->data, pFrameYUV->linesize);

//输出到YUV文件

//AVFrame像素帧写入文件

//data解码后的图像像素数据（音频采样数据）

//Y 亮度 UV 色度（压缩了）人对亮度更加敏感

//U V 个数是Y的1/4

int y_size = pCodecCtx->width * pCodecCtx->height;

fwrite(pFrameYUV->data[0], 1, y_size, fp_yuv);

fwrite(pFrameYUV->data[1], 1, y_size / 4, fp_yuv);

fwrite(pFrameYUV->data[2], 1, y_size / 4, fp_yuv);

frame_count++;

LOGI(“解码第%d帧”, frame_count);

}

//释放资源

av_free_packet(packet);

}

fclose(fp_yuv);

av_frame_free(&pFrame);

avcodec_close(pCodecCtx);

avformat_free_context(pFormatCtx);

(*env)->ReleaseStringUTFChars(env, input_, input);

(*env)->ReleaseStringUTFChars(env, output_, output);

//通知 Java 层解码完毕

(*env)->CallStaticVoidMethod(env, type, mid);

}

//使用这两个 Window 相关的头文件需要在 CMake 脚本中引入 android 库

#include <android/native_window_jni.h>

#include <android/native_window.h>

#include “include/yuv/libyuv.h”

JNIEXPORT void JNICALL

Java_com_haohao_ffmpeg_AVUtils_videoRender(JNIEnv *env, jclass type, jstring input_,

jobject surface) {

//需要转码的视频文件(输入的视频文件)

const char *input = (*env)->GetStringUTFChars(env, input_, 0);

//注册所有组件

av_register_all();

//avcodec_register_all();

//封装格式上下文，统领全局的结构体，保存了视频文件封装格式的相关信息

AVFormatContext *pFormatCtx = avformat_alloc_context();

//打开输入视频文件

if (avformat_open_input(&pFormatCtx, input, NULL, NULL) != 0) {

LOGE(“%s”, “无法打开输入视频文件”);

return;

}

//获取视频文件信息，例如得到视频的宽高

//第二个参数是一个字典，表示你需要获取什么信息，比如视频的元数据

if (avformat_find_stream_info(pFormatCtx, NULL) < 0) {

LOGE(“%s”, “无法获取视频文件信息”);

return;

}

//获取视频流的索引位置

//遍历所有类型的流（音频流、视频流、字幕流），找到视频流

int v_stream_idx = -1;

int i = 0;

//number of streams

for (; i < pFormatCtx->nb_streams; i++) {

//流的类型

if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) {

v_stream_idx = i;

break;

}

if (v_stream_idx == -1) {

LOGE(“%s”, “找不到视频流\n”);

return;

}

//获取视频流中的编解码上下文

AVCodecContext *pCodecCtx = pFormatCtx->streams[v_stream_idx]->codec;

//根据编解码上下文中的编码 id 查找对应的解码器

AVCodec *pCodec = avcodec_find_decoder(pCodecCtx->codec_id);

if (pCodec == NULL) {

LOGE(“%s”, “找不到解码器，或者视频已加密\n”);

return;

}

//打开解码器，解码器有问题（比如说我们编译FFmpeg的时候没有编译对应类型的解码器）

if (avcodec_open2(pCodecCtx, pCodec, NULL) < 0) {

LOGE(“%s”, “解码器无法打开\n”);

return;

}

//准备读取

//AVPacket用于存储一帧一帧的压缩数据（H264）

//缓冲区，开辟空间

AVPacket *packet = (AVPacket *) av_malloc(sizeof(AVPacket));

//AVFrame用于存储解码后的像素数据(YUV)

//内存分配

AVFrame *yuv_frame = av_frame_alloc();

AVFrame *rgb_frame = av_frame_alloc();

int got_picture, ret;

int frame_count = 0;

//窗体

ANativeWindow *pWindow = ANativeWindow_fromSurface(env, surface);

//绘制时的缓冲区

ANativeWindow_Buffer out_buffer;

//一帧一帧的读取压缩数据

while (av_read_frame(pFormatCtx, packet) >= 0) {

//只要视频压缩数据（根据流的索引位置判断）

if (packet->stream_index == v_stream_idx) {

//7.解码一帧视频压缩数据，得到视频像素数据

ret = avcodec_decode_video2(pCodecCtx, yuv_frame, &got_picture, packet);

if (ret < 0) {

LOGE(“%s”, “解码错误”);

return;

}

//为0说明解码完成，非0正在解码

if (got_picture) {

//lock window

//设置缓冲区的属性：宽高、像素格式（需要与Java层的格式一致）

ANativeWindow_setBuffersGeometry(pWindow, pCodecCtx->width, pCodecCtx->height,

WINDOW_FORMAT_RGBA_8888);

ANativeWindow_lock(pWindow, &out_buffer, NULL);

//初始化缓冲区

//设置属性，像素格式、宽高

//rgb_frame的缓冲区就是Window的缓冲区，同一个，解锁的时候就会进行绘制

avpicture_fill((AVPicture *) rgb_frame, out_buffer.bits, AV_PIX_FMT_RGBA,

pCodecCtx->width,

pCodecCtx->height);

//YUV格式的数据转换成RGBA 8888格式的数据, FFmpeg 也可以转换，但是存在问题，使用libyuv这个库实现

I420ToARGB(yuv_frame->data[0], yuv_frame->linesize[0],

yuv_frame->data[2], yuv_frame->linesize[2],

yuv_frame->data[1], yuv_frame->linesize[1],

rgb_frame->data[0], rgb_frame->linesize[0],

pCodecCtx->width, pCodecCtx->height);

//3、unlock window

ANativeWindow_unlockAndPost(pWindow);

frame_count++;

LOGI(“解码绘制第%d帧”, frame_count);

}

//释放资源

av_free_packet(packet);

}

av_frame_free(&yuv_frame);

avcodec_close(pCodecCtx);

avformat_free_context(pFormatCtx);

(*env)->ReleaseStringUTFChars(env, input_, input);

}

#include “libswresample/swresample.h”

#define MAX_AUDIO_FRME_SIZE 48000 * 4

//音频解码（重采样）

JNIEXPORT void JNICALL

Java_com_haohao_ffmpeg_AVUtils_audioDecode(JNIEnv *env, jclass type, jstring input_,

jstring output_) {

//访问静态方法

jmethodID mid = (*env)->GetStaticMethodID(env, type, “onNativeCallback”, “()V”);

const char *input = (*env)->GetStringUTFChars(env, input_, 0);

const char *output = (*env)->GetStringUTFChars(env, output_, 0);

//注册组件

av_register_all();

AVFormatContext *pFormatCtx = avformat_alloc_context();

//打开音频文件

if (avformat_open_input(&pFormatCtx, input, NULL, NULL) != 0) {

LOGI(“%s”, “无法打开音频文件”);

return;

}

//获取输入文件信息

if (avformat_find_stream_info(pFormatCtx, NULL) < 0) {

LOGI(“%s”, “无法获取输入文件信息”);

return;

}

//获取音频流索引位置

int i = 0, audio_stream_idx = -1;

for (; i < pFormatCtx->nb_streams; i++) {

if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_AUDIO) {

audio_stream_idx = i;

break;

}

//获取解码器

AVCodecContext *codecCtx = pFormatCtx->streams[audio_stream_idx]->codec;

AVCodec *codec = avcodec_find_decoder(codecCtx->codec_id);

if (codec == NULL) {

LOGI(“%s”, “无法获取解码器”);

return;

}

//打开解码器

if (avcodec_open2(codecCtx, codec, NULL) < 0) {

LOGI(“%s”, “无法打开解码器”);

return;

}

//压缩数据

AVPacket *packet = (AVPacket *) av_malloc(sizeof(AVPacket));

//解压缩数据

AVFrame *frame = av_frame_alloc();

//frame->16bit 44100 PCM 统一音频采样格式与采样率

SwrContext *swrCtx = swr_alloc();

//重采样设置参数

//输入的采样格式

enum AVSampleFormat in_sample_fmt = codecCtx->sample_fmt;

//输出采样格式16bit PCM

enum AVSampleFormat out_sample_fmt = AV_SAMPLE_FMT_S16;

//输入采样率

int in_sample_rate = codecCtx->sample_rate;

//输出采样率

int out_sample_rate = 44100;

//获取输入的声道布局

//根据声道个数获取默认的声道布局（2个声道，默认立体声stereo）

//av_get_default_channel_layout(codecCtx->channels);

uint64_t in_ch_layout = codecCtx->channel_layout;

//输出的声道布局（立体声）

uint64_t out_ch_layout = AV_CH_LAYOUT_STEREO;

swr_alloc_set_opts(swrCtx,

out_ch_layout, out_sample_fmt, out_sample_rate,

in_ch_layout, in_sample_fmt, in_sample_rate,

0, NULL);

swr_init(swrCtx);

//输出的声道个数

int out_channel_nb = av_get_channel_layout_nb_channels(out_ch_layout);

//重采样设置参数

//位宽16bit 采样率 44100HZ 的 PCM 数据

uint8_t *out_buffer = (uint8_t *) av_malloc(MAX_AUDIO_FRME_SIZE);

FILE *fp_pcm = fopen(output, “wb”);

int got_frame = 0, index = 0, ret;

//不断读取压缩数据

while (av_read_frame(pFormatCtx, packet) >= 0) {

//解码

ret = avcodec_decode_audio4(codecCtx, frame, &got_frame, packet);

if (ret < 0) {

LOGI(“%s”, “解码完成”);

}

//解码一帧成功

if (got_frame > 0) {

LOGI(“解码：%d”, index++);

swr_convert(swrCtx, &out_buffer, MAX_AUDIO_FRME_SIZE, frame->data, frame->nb_samples);

//获取sample的size

int out_buffer_size = av_samples_get_buffer_size(NULL, out_channel_nb,

frame->nb_samples, out_sample_fmt, 1);

fwrite(out_buffer, 1, out_buffer_size, fp_pcm);

}

av_free_packet(packet);

}

fclose(fp_pcm);

av_frame_free(&frame);

av_free(out_buffer);

swr_free(&swrCtx);

avcodec_close(codecCtx);

avformat_close_input(&pFormatCtx);

(*env)->ReleaseStringUTFChars(env, input_, input);

(*env)->ReleaseStringUTFChars(env, output_, output);

//通知 Java 层解码完成

(*env)->CallStaticVoidMethod(env, type, mid);

}

JNIEXPORT void JNICALL

Java_com_haohao_ffmpeg_AVUtils_audioPlay(JNIEnv *env, jclass type, jstring input_) {

const char *input = (*env)->GetStringUTFChars(env, input_, 0);

LOGI(“%s”, “sound”);

//注册组件

av_register_all();

AVFormatContext *pFormatCtx = avformat_alloc_context();

//打开音频文件

if (avformat_open_input(&pFormatCtx, input, NULL, NULL) != 0) {

LOGI(“%s”, “无法打开音频文件”);

return;

}

//获取输入文件信息

if (avformat_find_stream_info(pFormatCtx, NULL) < 0) {

LOGI(“%s”, “无法获取输入文件信息”);

return;

}

//获取音频流索引位置

int i = 0, audio_stream_idx = -1;

for (; i < pFormatCtx->nb_streams; i++) {

if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_AUDIO) {

audio_stream_idx = i;

break;

}

//获取解码器

AVCodecContext *codecCtx = pFormatCtx->streams[audio_stream_idx]->codec;

AVCodec *codec = avcodec_find_decoder(codecCtx->codec_id);

if (codec == NULL) {

LOGI(“%s”, “无法获取解码器”);

return;

}

//打开解码器

if (avcodec_open2(codecCtx, codec, NULL) < 0) {

LOGI(“%s”, “无法打开解码器”);

return;

}

//压缩数据

AVPacket *packet = (AVPacket *) av_malloc(sizeof(AVPacket));

//解压缩数据

AVFrame *frame = av_frame_alloc();

//frame->16bit 44100 PCM 统一音频采样格式与采样率

SwrContext *swrCtx = swr_alloc();

//输入的采样格式

enum AVSampleFormat in_sample_fmt = codecCtx->sample_fmt;

//输出采样格式16bit PCM

enum AVSampleFormat out_sample_fmt = AV_SAMPLE_FMT_S16;

//输入采样率

int in_sample_rate = codecCtx->sample_rate;

//输出采样率

int out_sample_rate = in_sample_rate;

//获取输入的声道布局

//根据声道个数获取默认的声道布局（2个声道，默认立体声stereo）

//av_get_default_channel_layout(codecCtx->channels);

uint64_t in_ch_layout = codecCtx->channel_layout;

//输出的声道布局（立体声）

uint64_t out_ch_layout = AV_CH_LAYOUT_STEREO;

swr_alloc_set_opts(swrCtx,

out_ch_layout, out_sample_fmt, out_sample_rate,

in_ch_layout, in_sample_fmt, in_sample_rate,

0, NULL);

swr_init(swrCtx);

//输出的声道个数

int out_channel_nb = av_get_channel_layout_nb_channels(out_ch_layout);

//AudioTrack对象

jmethodID create_audio_track_mid = (*env)->GetStaticMethodID(env, type, “createAudioTrack”,

“(II)Landroid/media/AudioTrack;”);

jobject audio_track = (*env)->CallStaticObjectMethod(env, type, create_audio_track_mid,

out_sample_rate, out_channel_nb);

//调用AudioTrack.play方法

jclass audio_track_class = (*env)->GetObjectClass(env, audio_track);

jmethodID audio_track_play_mid = (*env)->GetMethodID(env, audio_track_class, “play”, “()V”);

jmethodID audio_track_stop_mid = (*env)->GetMethodID(env, audio_track_class, “stop”, “()V”);

(*env)->CallVoidMethod(env, audio_track, audio_track_play_mid);

//AudioTrack.write

jmethodID audio_track_write_mid = (*env)->GetMethodID(env, audio_track_class, “write”,

“([BII)I”);

//16bit 44100 PCM 数据

uint8_t *out_buffer = (uint8_t *) av_malloc(MAX_AUDIO_FRME_SIZE);

int got_frame = 0, index = 0, ret;

//不断读取压缩数据

while (av_read_frame(pFormatCtx, packet) >= 0) {

//解码音频类型的Packet

if (packet->stream_index == audio_stream_idx) {

//解码

ret = avcodec_decode_audio4(codecCtx, frame, &got_frame, packet);

if (ret < 0) {

LOGI(“%s”, “解码完成”);

}

//解码一帧成功

if (got_frame > 0) {

LOGI(“解码：%d”, index++);

swr_convert(swrCtx, &out_buffer, MAX_AUDIO_FRME_SIZE,

(const uint8_t **) frame->data, frame->nb_samples);

//获取sample的size

int out_buffer_size = av_samples_get_buffer_size(NULL, out_channel_nb,

frame->nb_samples, out_sample_fmt,

1);

//out_buffer缓冲区数据，转成byte数组

jbyteArray audio_sample_array = (*env)->NewByteArray(env, out_buffer_size);

jbyte *sample_bytep = (*env)->GetByteArrayElements(env, audio_sample_array, NULL);

//out_buffer的数据复制到sampe_bytep

memcpy(sample_bytep, out_buffer, out_buffer_size);

//同步

(*env)->ReleaseByteArrayElements(env, audio_sample_array, sample_bytep, 0);

//AudioTrack.write PCM数据

(*env)->CallIntMethod(env, audio_track, audio_track_write_mid,

audio_sample_array, 0, out_buffer_size);

//释放局部引用

(*env)->DeleteLocalRef(env, audio_sample_array);

}

av_free_packet(packet);

}

(*env)->CallVoidMethod(env, audio_track, audio_track_stop_mid);

av_frame_free(&frame);

av_free(out_buffer);

swr_free(&swrCtx);

avcodec_close(codecCtx);

avformat_close_input(&pFormatCtx);

(*env)->ReleaseStringUTFChars(env, input_, input);

}

CMakeLists.txt

cmake_minimum_required(VERSION 3.4.1)

include_directories(${CMAKE_SOURCE_DIR}/src/main/cpp/include)

set(jnilibs “${CMAKE_SOURCE_DIR}/src/main/jniLibs”)

set(CMAKE_LIBRARY_OUTPUT_DIRECTORY ${jnilibs}/$ {ANDROID_ABI})

add_library( # Sets the name of the library.

native-lib

Sets the library as a shared library.

SHARED

Provides a relative path to your source file(s).

src/main/cpp/native-lib.c)

添加 FFmpeg 的 8 个函数库和 yuvlib 库

add_library(avutil-54 SHARED IMPORTED )

set_target_properties(avutil-54 PROPERTIES IMPORTED_LOCATION “ ${jnilibs}/$ {ANDROID_ABI}/libavutil-54.so”)

add_library(swresample-1 SHARED IMPORTED )

set_target_properties(swresample-1 PROPERTIES IMPORTED_LOCATION “ ${jnilibs}/$ {ANDROID_ABI}/libswresample-1.so”)

add_library(avcodec-56 SHARED IMPORTED )

set_target_properties(avcodec-56 PROPERTIES IMPORTED_LOCATION “ ${jnilibs}/$ {ANDROID_ABI}/libavcodec-56.so”)

add_library(avformat-56 SHARED IMPORTED )

set_target_properties(avformat-56 PROPERTIES IMPORTED_LOCATION “ ${jnilibs}/$ {ANDROID_ABI}/libavformat-56.so”)

add_library(swscale-3 SHARED IMPORTED )

set_target_properties(swscale-3 PROPERTIES IMPORTED_LOCATION “ ${jnilibs}/$ {ANDROID_ABI}/libswscale-3.so”)

add_library(postproc-53 SHARED IMPORTED )

set_target_properties(postproc-53 PROPERTIES IMPORTED_LOCATION “ ${jnilibs}/$ {ANDROID_ABI}/libpostproc-53.so”)

add_library(avfilter-5 SHARED IMPORTED )

set_target_properties(avfilter-5 PROPERTIES IMPORTED_LOCATION “ ${jnilibs}/$ {ANDROID_ABI}/libavfilter-5.so”)

add_library(avdevice-56 SHARED IMPORTED )

set_target_properties(avdevice-56 PROPERTIES IMPORTED_LOCATION “ ${jnilibs}/$ {ANDROID_ABI}/libavdevice-56.so”)

add_library(yuv SHARED IMPORTED )

set_target_properties(yuv PROPERTIES IMPORTED_LOCATION “ ${jnilibs}/$ {ANDROID_ABI}/libyuv.so”)

find_library( # Sets the name of the path variable.

log-lib

Specifies the name of the NDK library that

you want CMake to locate.

log )

#找到 Android 系统 Window 绘制相关的库

find_library(

android-lib

android

)

target_link_libraries( native-lib

${log-lib}

${android-lib}

avutil-54

swresample-1

avcodec-56

avformat-56

swscale-3

postproc-53

avfilter-5

avdevice-56

yuv)

PS：

注意添加文件读写权限。

二、音视频同步原理与实现

============

2.1、原理

如果简单的按照音频的采样率与视频的帧率去播放，由于机器运行速度，解码效率等种种造成时间差异的因素影响，很难同步，音视频时间差将会呈现线性增长。所以要做音视频的同步，有三种方式：

1.参考一个外部时钟，将音频与视频同步至此时间。我首先想到这种方式，但是并不好，由于某些生物学的原理，人对声音的变化比较敏感，但是对视觉变化不太敏感。所以频繁的去调整声音的播放会有些刺耳或者杂音吧影响用户体验。（ps：顺便科普生物学知识，自我感觉好高大上_）。

2.以视频为基准，音频去同步视频的时间。不采用，理由同上。

3.以音频为基准，视频去同步音频的时间。所以这个办法了。

所以，原理就是以音频时间为基准，判断视频快了还是慢了，从而调整视频速度。其实是一个动态的追赶与等待的过程。

2.2、一些概念

音视频中都有DTS与PTS。

DTS ，Decoding Time Stamp，解码时间戳，告诉解码器packet的解码顺序。

PTS ，Presentation Time Stamp，显示时间戳，指示从packet中解码出来的数据的显示顺序。

音频中二者是相同的，但是视频由于B帧（双向预测）的存在，会造成解码顺序与显示顺序并不相同，也就是视频中DTS与PTS不一定相同。

时间基 :看FFmpeg源码

/**

This is the fundamental unit of time (in seconds) in terms
of which frame timestamps are represented. For fixed-fps content,
timebase should be 1/framerate and timestamp increments should be
identically 1.
This often, but not always is the inverse of the frame rate or field rate
for video.
- encoding: MUST be set by user.
- decoding: the use of this field for decoding is deprecated.
```
        Use framerate instead.
```

AVRational time_base;

/**

rational number numerator/denominator

typedef struct AVRational{

int num; ///< numerator

int den; ///< denominator

} AVRational;

个人理解，其实就是ffmpeg中的用分数表示时间单位，num为分子，den为分母。并且ffmpeg提供了计算方法：

/**

Convert rational to double.
@param a rational to convert
@return (double) a

static inline double av_q2d(AVRational a){

return a.num / (double) a.den;

}

所以视频中某帧的显示时间计算方式为(单位为妙)：

time = pts * av_q2d(time_base);

2.3、同步代码

1、音频部分

clock 为音频的播放时长（从开始到当前的时间）

if (packet->pts != AV_NOPTS_VALUE) {

audio->clock = av_q2d(audio->time_base) * packet->pts;

}

然后加上此packet中数据需要播放的时间

double time = datalen/((double) 44100 *2 * 2);

audio->clock = audio->clock +time;

datalen为数据长度。采样率为44100，采样位数为16，通道数为2。所以数据长度 / 每秒字节数。

ps：此处计算方式不是很完美，有很多问题，回头研究在再补上。

2、视频部分

先定义几个值：

double last_play //上一帧的播放时间

,play //当前帧的播放时间

, last_delay // 上一次播放视频的两帧视频间隔时间

,delay //两帧视频间隔时间

,audio_clock //音频轨道实际播放时间

,diff //音频帧与视频帧相差时间

,sync_threshold //合理的范围

,start_time //从第一帧开始的绝对时间

,pts

,actual_delay//真正需要延迟时间

start_time = av_gettime() / 1000000.0;

// 获取pts

if ((pts = av_frame_get_best_effort_timestamp(frame)) == AV_NOPTS_VALUE) {

pts = 0;

}

play = pts * av_q2d(vedio->time_base);

// 纠正时间

play = vedio->synchronize(frame, play);

delay = play - last_play;

if (delay <= 0 || delay > 1) {

delay = last_delay;

}

audio_clock = vedio->audio->clock;

last_delay = delay;

last_play = play;

//音频与视频的时间差

diff = vedio->clock - audio_clock;

// 在合理范围外才会延迟加快

sync_threshold = (delay > 0.01 ? 0.01 : delay);

if (fabs(diff) < 10) {

if (diff <= -sync_threshold) {

delay = 0;

} else if (diff >= sync_threshold) {

delay = 2 * delay;

}

start_time += delay;

actual_delay = start_time - av_gettime() / 1000000.0;

if (actual_delay < 0.01) {

actual_delay = 0.01;

}

// 休眠时间 ffmpeg 建议这样写为什么要这样写有待研究

av_usleep(actual_delay * 1000000.0 + 6000);

纠正play （播放时间）的方法 repeat_pict / (2 * fps) 是ffmpeg注释里教的

synchronize(AVFrame *frame, double play) {

//clock是当前播放的时间位置

if (play != 0)

clock=play;

else //pst为0 则先把pts设为上一帧时间

play = clock;

//可能有pts为0 则主动增加clock

//需要求出扩展延时：

double repeat_pict = frame->repeat_pict;

//使用AvCodecContext的而不是stream的

double frame_delay = av_q2d(codec->time_base);

//fps

double fps = 1 / frame_delay;

//pts 加上这个延迟是显示时间

double extra_delay = repeat_pict / (2 * fps);

double delay = extra_delay + frame_delay;

clock += delay;

return play;

}

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Android工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则近万的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：Android）

面试宝典

面试必问知识点、BATJ历年历年面试真题+解析

学习经验总结

（一）调整好心态
心态是一个人能否成功的关键，如果不调整好自己的心态，是很难静下心来学习的，尤其是现在这么浮躁的社会，大部分的程序员的现状就是三点一线，感觉很累，一些大龄的程序员更多的会感到焦虑，而且随着年龄的增长，这种焦虑感会越来越强烈，那么唯一的解决办法就是调整好自己的心态，要做到自信、年轻、勤奋。这样的调整，一方面对自己学习有帮助，另一方面让自己应对面试更从容，更顺利。

（二）时间挤一挤，制定好计划
一旦下定决心要提升自己，那么再忙的情况下也要每天挤一挤时间，切记不可“两天打渔三天晒网”。另外，制定好学习计划也是很有必要的，有逻辑有条理的复习，先查漏补缺，然后再系统复习，这样才能够做到事半功倍，效果才会立竿见影。

（三）不断学习技术知识，更新自己的知识储备
对于一名程序员来说，技术知识方面是非常重要的，可以说是重中之重。**要面试大厂，自己的知识储备一定要非常丰富，若缺胳膊少腿，别说在实际工作当中，光是面试这一关就过不了。**对于技术方面，首先基础知识一定要扎实，包括自己方向的语言基础、计算机基础、算法以及编程等等。

《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》，点击传送门即可获取！

= extra_delay + frame_delay;

clock += delay;

return play;

}

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

[外链图片转存中…(img-ZOUqOcg5-1711815994803)]

[外链图片转存中…(img-JYH022Z6-1711815994804)]

[外链图片转存中…(img-lxDRbrAg-1711815994804)]

[外链图片转存中…(img-bsjltvzI-1711815994804)]

[外链图片转存中…(img-bkDiRbQx-1711815994805)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：Android）

面试宝典

面试必问知识点、BATJ历年历年面试真题+解析

[外链图片转存中…(img-dhWSaPkz-1711815994805)]

学习经验总结

《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》，点击传送门即可获取！

2301_82242251

关注

8
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
FFmpeg 之音视频解码与音视频同步（二）

（一）调整好心态心态是一个人能否成功的关键，如果不调整好自己的心态，是很难静下心来学习的，尤其是现在这么浮躁的社会，大部分的程序员的现状就是三点一线，感觉很累，一些大龄的程序员更多的会感到焦虑，而且随着年龄的增长，这种焦虑感会越来越强烈，那么唯一的解决办法就是调整好自己的心态，要做到自信、年轻、勤奋。这样的调整，一方面对自己学习有帮助，另一方面让自己应对面试更从容，更顺利。（二）时间挤一挤，制定好计划一旦下定决心要提升自己，那么再忙的情况下也要每天挤一挤时间，切记不可“两天打渔三天晒网”。
复制链接

扫一扫