Java版流媒体编解码和图像处理(JavaCPP+FFmpeg)

// 从视频流中解码一帧

AVFrame pFrame = getSingleFrame(pCodecCtx,pFormatCtx, videoStreamIndex);

if (null==pFrame) {

log.error(“从视频流中取帧失败”);

return;

}

// 将YUV420P图像转成YUVJ420P

// 转换后的图片的AVFrame，及其对应的数据指针，都放在frameData对象中

FrameData frameData = YUV420PToYUVJ420P(pCodecCtx, pFrame);

if (null==frameData) {

log.info(“YUV420P格式转成YUVJ420P格式失败”);

return;

}

// 持久化存储

saveImg(frameData.avFrame,out_file);

// 按顺序释放

release(true, null, null, pCodecCtx, pFormatCtx, frameData.buffer, frameData.avFrame, pFrame);

log.info(“操作成功”);

}

• 现在整体逻辑已经清楚了，再来看里面openMediaAndSaveImage里面调用的那些方法的源码，先看打开流媒体的getFormatContext：

/**

• 生成解封装上下文

• @param url

• @return

*/

private AVFormatContext getFormatContext(String url) {

// 解封装上下文

AVFormatContext pFormatCtx = new avformat.AVFormatContext(null);

// 打开流媒体

if (avformat_open_input(pFormatCtx, url, null, null) != 0) {

log.error(“打开媒体失败”);

return null;

}

// 读取流媒体数据，以获得流的信息

if (avformat_find_stream_info(pFormatCtx, (PointerPointer) null) < 0) {

log.error(“获得媒体流信息失败”);

return null;

}

return pFormatCtx;

}

• 流媒体解封装后有一个保存了所有流的数组，getVideoStreamIndex方法会找到视频流在数组中的位置：

/**

• 流媒体解封装后得到多个流组成的数组，该方法找到视频流咋数组中的位置

• @param pFormatCtx

• @return

*/

private static int getVideoStreamIndex(AVFormatContext pFormatCtx) {

int videoStream = -1;

// 解封装后有多个流，找出视频流是第几个

for (int i = 0; i < pFormatCtx.nb_streams(); i++) {

if (pFormatCtx.streams(i).codec().codec_type() == AVMEDIA_TYPE_VIDEO) {

videoStream = i;

break;

}

}

return videoStream;

}

• 解封装之后就是解码，getCodecContext方法得到解码上下文对象：

/**

• 生成解码上下文

• @param pFormatCtx

• @param videoStreamIndex

• @return

*/

private AVCodecContext getCodecContext(AVFormatContext pFormatCtx, int videoStreamIndex) {

//解码器

AVCodec pCodec;

// 得到解码上下文

AVCodecContext pCodecCtx = pFormatCtx.streams(videoStreamIndex).codec();

// 根据解码上下文得到解码器

pCodec = avcodec_find_decoder(pCodecCtx.codec_id());

if (pCodec == null) {

return null;

}

// 用解码器来初始化解码上下文

if (avcodec_open2(pCodecCtx, pCodec, (AVDictionary)null) < 0) {

return null;

}

return pCodecCtx;

}

• 紧接着从视频流解码取帧解码：

/**

• 取一帧然后解码

• @param pCodecCtx

• @param pFormatCtx

• @param videoStreamIndex

• @return

*/

private AVFrame getSingleFrame(AVCodecContext pCodecCtx, AVFormatContext pFormatCtx, int videoStreamIndex) {

// 分配帧对象

AVFrame pFrame = av_frame_alloc();

// frameFinished用于检查是否有图像

int[] frameFinished = new int[1];

// 是否找到的标志

boolean exists = false;

AVPacket packet = new AVPacket();

try {

// 每一次while循环都会读取一个packet

while (av_read_frame(pFormatCtx, packet) >= 0) {

// 检查packet所属的流是不是视频流

if (packet.stream_index() == videoStreamIndex) {

// 将AVPacket解码成AVFrame

avcodec_decode_video2(pCodecCtx, pFrame, frameFinished, packet);// Decode video frame

// 如果有图像就返回

if (frameFinished != null && frameFinished[0] != 0 && !pFrame.isNull()) {

exists = true;

break;

}

}

}

} finally {

// 一定要执行释放操作

av_free_packet(packet);

}

// 找不到就返回空

return exists ? pFrame : null;

}

• 解码后的图像是YUV420P格式，咱们将其转成YUVJ420P：

/**

• 将YUV420P格式的图像转为YUVJ420P格式

• @param pCodecCtx 解码上下文

• @param sourceFrame 源数据

• @return 转换后的帧极其对应的数据指针

*/

private static FrameData YUV420PToYUVJ420P(AVCodecContext pCodecCtx, AVFrame sourceFrame) {

// 分配一个帧对象，保存从YUV420P转为YUVJ420P的结果

AVFrame pFrameRGB = av_frame_alloc();

if (pFrameRGB == null) {

return null;

}

int width = pCodecCtx.width(), height = pCodecCtx.height();

// 一些参数设定

pFrameRGB.width(width);

pFrameRGB.height(height);

pFrameRGB.format(AV_PIX_FMT_YUVJ420P);

// 计算转为YUVJ420P之后的图片字节数

int numBytes = avpicture_get_size(AV_PIX_FMT_YUVJ420P, width, height);

// 分配内存

BytePointer buffer = new BytePointer(av_malloc(numBytes));

// 图片处理工具的初始化操作

SwsContext sws_ctx = sws_getContext(width, height, pCodecCtx.pix_fmt(), width, height, AV_PIX_FMT_YUVJ420P, SWS_BICUBIC, null, null, (DoublePointer) null);

// 将pFrameRGB的data指针指向刚才分配好的内存(即buffer)

avpicture_fill(new avcodec.AVPicture(pFrameRGB), buffer, AV_PIX_FMT_YUVJ420P, width, height);

// 转换图像格式，将解压出来的YUV420P的图像转换为YUVJ420P的图像

sws_scale(sws_ctx, sourceFrame.data(), sourceFrame.linesize(), 0, height, pFrameRGB.data(), pFrameRGB.linesize());

// 及时释放

sws_freeContext(sws_ctx);

// 将AVFrame和BytePointer打包到FrameData中返回，这两个对象都要做显示的释放操作

return new FrameData(pFrameRGB, buffer);

}

• 然后就是另一个很重要方法saveImg，里面是典型的编码和输出流程，咱们前面已经了解了打开媒体流解封装解码的操作，现在要看看怎么制作媒体流，包括编码、封装和输出：

/**

• 将传入的帧以图片的形式保存在指定位置

• @param pFrame

• @param out_file

• @return 小于0表示失败

*/

private int saveImg(avutil.AVFrame pFrame, String out_file) {

av_log_set_level(AV_LOG_ERROR);//设置FFmpeg日志级别（默认是debug，设置成error可以屏蔽大多数不必要的控制台消息）

AVPacket pkt = null;

AVStream pAVStream = null;

int width = pFrame.width(), height = pFrame.height();

// 分配AVFormatContext对象

avformat.AVFormatContext pFormatCtx = avformat_alloc_context();

// 设置输出格式(涉及到封装和容器)

pFormatCtx.oformat(av_guess_format(“mjpeg”, null, null));

if (pFormatCtx.oformat() == null) {

log.error(“输出媒体流的封装格式设置失败”);

return -1;

}

try {

// 创建并初始化一个和该url相关的AVIOContext

avformat.AVIOContext pb = new avformat.AVIOContext();

// 打开输出文件

if (avio_open(pb, out_file, AVIO_FLAG_READ_WRITE) < 0) {

log.info(“输出文件打开失败”);

return -1;

}

// 封装之上是协议，这里将封装上下文和协议上下文关联

pFormatCtx.pb(pb);

// 构建一个新stream

pAVStream = avformat_new_stream(pFormatCtx, null);

if (pAVStream == null) {

log.error(“将新的流放入媒体文件失败”);

return -1;

}

int codec_id = pFormatCtx.oformat().video_codec();

// 设置该stream的信息

avcodec.AVCodecContext pCodecCtx = pAVStream.codec();

pCodecCtx.codec_id(codec_id);

pCodecCtx.codec_type(AVMEDIA_TYPE_VIDEO);

pCodecCtx.pix_fmt(AV_PIX_FMT_YUVJ420P);

pCodecCtx.width(width);

pCodecCtx.height(height);

pCodecCtx.time_base().num(1);

pCodecCtx.time_base().den(25);

// 打印媒体信息

av_dump_format(pFormatCtx, 0, out_file, 1);

// 查找解码器

avcodec.AVCodec pCodec = avcodec_find_encoder(codec_id);

if (pCodec == null) {

log.info(“获取解码器失败”);

return -1;

}

// 用解码器来初始化解码上下文

if (avcodec_open2(pCodecCtx, pCodec, (PointerPointer) null) < 0) {

log.error(“解码上下文初始化失败”);

return -1;

}

// 输出的Packet

pkt = new avcodec.AVPacket();

// 分配

if (av_new_packet(pkt, width * height * 3) < 0) {

return -1;

}

int[] got_picture = { 0 };

// 把流的头信息写到要输出的媒体文件中

avformat_write_header(pFormatCtx, (PointerPointer) null);

// 把帧的内容进行编码

if (avcodec_encode_video2(pCodecCtx, pkt, pFrame, got_picture)<0) {

log.error(“把帧编码为packet失败”);

return -1;

}

// 输出一帧

if ((av_write_frame(pFormatCtx, pkt)) < 0) {

log.error(“输出一帧失败”);

return -1;

}

// 写文件尾

if (av_write_trailer(pFormatCtx) < 0) {

log.error(“写文件尾失败”);

return -1;

}

return 0;

} finally {

// 资源清理

release(false, pkt, pFormatCtx.pb(), pAVStream.codec(), pFormatCtx);

}

}

• 最后是释放资源的操作，请注意释放不同对象要用到的API也不同，另外AVFormatContext的场景不同用到的API也不同（输入输出场景），用错了就会crash，另外release方法一共被调用了两次，也就说打开媒体流和输出媒体流用到的资源和对象，最终都需要释放和回收：

/**

• 释放资源，顺序是先释放数据，再释放上下文

• @param pCodecCtx

• @param pFormatCtx

• @param ptrs

*/

private void release(boolean isInput, AVPacket pkt, AVIOContext pb, AVCodecContext pCodecCtx, AVFormatContext pFormatCtx, Pointer…ptrs) {

if (null!=pkt) {

av_free_packet(pkt);

}

// 解码后，这是个数组，要遍历处理

if (null!=ptrs) {

Arrays.stream(ptrs).forEach(avutil::av_free);

}

// 解码

if (null!=pCodecCtx) {

avcodec_close(pCodecCtx);

}

// 解协议

if (null!=pb) {

avio_close(pb);

}

// 解封装

if (null!=pFormatCtx) {

if (isInput) {

avformat_close_input(pFormatCtx);

} else {

avformat_free_context(pFormatCtx);

}

}

}

• 最后写个main方法，调用openMediaAndSaveImage试试，传入媒体流的地址，以及存放图片的路径：

public static void main(String[] args) throws Exception {

// CCTV13，1920*1080分辨率，不稳定，打开失败时请多试几次

String url = “http://ivi.bupt.edu.cn/hls/cctv13hd.m3u8”;

// 安徽卫视，1024*576分辨率，较为稳定

// String url = “rtmp://58.200.131.2:1935/livetv/ahtv”;

// 本地视频文件，请改为您自己的本地文件地址

// String url = “E:\temp\202107\24\test.mp4”;

// 完整图片存放路径，注意文件名是当前的年月日时分秒

String localPath = “E:\temp\202107\24\save\” + new SimpleDateFormat(“yyyyMMddHHmmss”).format(new Date()) + “.jpg”;

// 开始操作

new Stream2Image().openMediaAndSaveImage(url, localPath);

}

• 以上所有代码都在子工程ffmpeg-basic的Stream2Image.java文件中，运行main方法，控制台输出如下，可见流媒体打开成功，并且输出了详细的媒体信息：

18:28:35.553 [main] INFO com.bolingcavalry.basic.Stream2Image - 正在打开流媒体 [http://ivi.bupt.edu.cn/hls/cctv13hd.m3u8]

18:28:37.062 [main] INFO com.bolingcavalry.basic.Stream2Image - 视频流在流数组中的第[0]个流是视频流(从0开始)

18:28:37.219 [main] INFO com.bolingcavalry.basic.Stream2Image - 操作成功

[hls,applehttp @ 00000188548ab140] Opening ‘http://ivi.bupt.edu.cn/hls/cctv13hd-1627208880000.ts’ for reading

[hls,applehttp @ 00000188548ab140] Opening ‘http://ivi.bupt.edu.cn/hls/cctv13hd-1627208890000.ts’ for reading

[NULL @ 000001887ba68bc0] non-existing SPS 0 referenced in buffering period

[NULL @ 000001887ba68bc0] SPS unavailable in decode_picture_timing

[h264 @ 000001887ba6aa80] non-existing SPS 0 referenced in buffering period

[h264 @ 000001887ba6aa80] SPS unavailable in decode_picture_timing

Input #0, hls,applehttp, from ‘http://ivi.bupt.edu.cn/hls/cctv13hd.m3u8’:

Duration: N/A, start: 1730.227267, bitrate: N/A

Program 0

Metadata:

variant_bitrate : 0

Stream #0:0: Video: h264 (Main) ([27][0][0][0] / 0x001B), yuv420p, 1920x1080 [SAR 1:1 DAR 16:9], 25 fps, 25 tbr, 90k tbn, 50 tbc

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，不论你是刚入门Java开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
start: 1730.227267, bitrate: N/A

Program 0

Metadata:

variant_bitrate : 0

Stream #0:0: Video: h264 (Main) ([27][0][0][0] / 0x001B), yuv420p, 1920x1080 [SAR 1:1 DAR 16:9], 25 fps, 25 tbr, 90k tbn, 50 tbc

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

[外链图片转存中…(img-R4JVfUmQ-1715756746802)]

[外链图片转存中…(img-ena065MB-1715756746802)]

[外链图片转存中…(img-8PmGBrEs-1715756746802)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，不论你是刚入门Java开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！