Unity 解析视频流数据

最新推荐文章于 2024-08-22 18:26:56 发布

迷牙

最新推荐文章于 2024-08-22 18:26:56 发布

阅读量3.2k

点赞数 1

分类专栏： Unity AndroidStudio 结合文章标签： YUV Unity

本文链接：https://blog.csdn.net/bddnh/article/details/99594155

版权

本文介绍如何在Android Studio中将视频流转换为YUV格式，并通过Unity解析和显示。首先，使用MediaCodec初始化并获取一帧完整的YUV数据，接着将数据传给Unity。在Unity中，创建两个Texture2D对象来处理Y和UV数据，并通过LoadRawTextureData加载。最后，自定义Shader解析两个纹理，将YUV转换为RGB以显示在屏幕上。在实现过程中遇到了颜色转换不正确的问题，调整了计算公式和UV坐标以获得正确的显示效果。

摘要由CSDN通过智能技术生成

首先在AndroidStudio中将数据转换为yuv图片数据，然后传到Unity，Unity解析Yuv图片数据并显示

MediaCodec mCodec = MediaCodec.createDecoderByType("video/avc");
final MediaFormat mediaformat = MediaFormat.createVideoFormat("video/avc", VIDEO_WIDTH, VIDEO_HEIGHT);
mediaformat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible);
mCodec.configure(mediaformat, null,null, 0);

初始化MediaCodec，然后启动一个线程获取数据，保证数据是一帧的完整数据

然后调用queueInputBuffer，把数据传给MediaCodec。

MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
long timeoutUs = 1000;
int outIndex = mCodec.dequeueOutputBuffer(info, timeoutUs);

if (outIndex >= 0) {
    Image image = mCodec.getOutputImage(outIndex);
    ByteBuffer buffer = image.getPlanes()[0].getBuffer();
    ByteBuffer buffer1 = image.getPlanes()[1].getBuffer();
    byte[] arr = new byte[buffer.remaining()];
    byte[] arr1 =