H264之UDP传输码流、画质、延迟理解记录

H264网络传输之UDP码流与图像的相关性

一、H264编码中会有I帧、P帧、B帧的产生。其中I帧为原始帧,此帧编码后的数据很大,其中1080P图像会达到几百至上千Kbit,一般会设置最大码流限制,在限制的同时会影响到图像质量,一般情况下至需要几百Kbit才可以保证图像质量。P帧与B帧均为参考帧,编码后数据较小,一般在十几至几十Kbit
二、在网络传输过程中,UDP协议不具备可靠性,在网络传输过程中不得不考虑网络传输带宽,与传输效率保证不丢包。Linux下socket传输下UDP协议下单包最多支持65507字节,请求次数最多大概在100次每秒。这个单包大小与包发送间隔时间决定了网络的峰值码流与均值码流。为了限制峰值码流,一般会将单包大小进行限制。
三、H264网络传输关心的四个关键问题:峰值码流、平均码流、图像画质、延迟。
1、(只考虑码流与图像质量,不考虑不同编码器,不同编码方式与应用场景带来的差异)一般情况下编码码流越大图像画质越好,I帧数据几百Kbit以上,需要通过UDP分包发送。
2、对于解码端,如果没有多余缓存时间,为最低延迟的解码过程,接收一帧解一帧,图像可能会出现卡顿,由于I帧没在帧间隔时间内发送完。解决卡顿可增大UDP单包发送数据,保证在一帧间隔时间内将包发送完毕,会牺牲网络的峰值码流指标;如果想降低网络峰值码流,则需要降低UDP单包大小,则可能会出现I帧卡顿现象。此时解决卡顿的办法即添加缓存(一般缓存100ms即可),会牺牲图像实时性指标
3、在不牺牲图像实时性的前提下:对于需要降低平均码流的需求,一般为降低编码帧率或限制编码码流,牺牲图像质量。减少I帧数据,对码流的限制有很大影响,同时适当降低P帧和B帧的码流。如果只需解决峰值码流,即只需限制最大编码码流即可。

要在Java中使用FFmpeg输出H264/265的码,可以使用Java ProcessBuilder来启动FFmpeg进程,并将输出重定向到Java程序中。 以下是一个示例代码: ``` import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.util.ArrayList; import java.util.List; public class FFmpegOutput { public static void main(String[] args) { List<String> command = new ArrayList<String>(); command.add("ffmpeg"); command.add("-i"); command.add("input.mp4"); command.add("-f"); command.add("mpegts"); command.add("-codec:v"); command.add("libx264"); command.add("-codec:a"); command.add("aac"); command.add("-b:v"); command.add("500k"); command.add("-b:a"); command.add("128k"); command.add("-muxdelay"); command.add("0"); command.add("-preset"); command.add("ultrafast"); command.add("-tune"); command.add("zerolatency"); command.add("-f"); command.add("mpegts"); command.add("udp://127.0.0.1:1234"); try { ProcessBuilder builder = new ProcessBuilder(command); builder.redirectErrorStream(true); Process p = builder.start(); InputStream is = p.getInputStream(); BufferedReader br = new BufferedReader(new InputStreamReader(is)); String line; while ((line = br.readLine()) != null) { System.out.println(line); } p.waitFor(); } catch (IOException e) { e.printStackTrace(); } catch (InterruptedException e) { e.printStackTrace(); } } } ``` 在上面的示例中,我们使用FFmpeg将输入文件input.mp4转换为H264编码的mpegts,并将其输出到UDP地址127.0.0.1:1234。 您可以根据需要更改FFmpeg命令行参数来实现不同的输出格式和编码类型。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值