紧急！UE5插播一条安防视频

Part1前言

在用UE5进行项目开发的时候，进程需要进行安防视频的播放，如rtsp的视频流。本文针对这一需求，开发了基于UE5的InVideo插件，使用了安防视频的播放。

Part2实现思路

视频流的获取基于opencv库实现，之后将获取的数据转成Texture2D对象，再通过Image组件进行更新播放。另外，为了提高渲染的性能，我将所有的操作都移植到子系统进行，从而避免game线程卡主，影响整体渲染性能。

1引用opencv库

我们在InOpenCV.Build.cs文件中，设置相关依赖库的加载。方法如下：

// Copyright Epic Games, Inc. All Rights Reserved.
using System;
using System.IO;
using UnrealBuildTool;

public class InOpenCV : ModuleRules
{
  public InOpenCV(ReadOnlyTargetRules Target) : base(Target)
  {
    Type = ModuleType.External;

    string PlatformDir = Target.Platform.ToString();
    string IncPath = Path.Combine(ModuleDirectory, "include");
    string BinaryPath = Path.GetFullPath(Path.Combine(ModuleDirectory, "../../../Binaries/ThirdParty", PlatformDir));

    if (Target.Platform == UnrealTargetPlatform.Win64)
    {
      PublicSystemIncludePaths.Add(IncPath);

      string LibPath = Path.Combine(ModuleDirectory, "lib", PlatformDir);
      string LibName = "opencv_world460";
      string LibFfmpeg = "opencv_videoio_ffmpeg460_64";

      PublicAdditionalLibraries.Add(Path.Combine(LibPath, LibName + ".lib"));
      string DLLName = LibName + ".dll";
      string DLLFfmpeg = LibFfmpeg + ".dll";
      PublicDelayLoadDLLs.Add(DLLName);
      PublicDelayLoadDLLs.Add(DLLFfmpeg);
      RuntimeDependencies.Add(Path.Combine(BinaryPath, DLLName));
      RuntimeDependencies.Add(Path.Combine(BinaryPath, DLLFfmpeg));

      PublicDefinitions.Add("OPENCV_PLATFORM_PATH=Binaries/ThirdParty/" + PlatformDir);
      PublicDefinitions.Add("OPENCV_DLL_NAME=" + DLLName);
      PublicDefinitions.Add("OPENCV_DLL_FFMPEG=" + DLLFfmpeg);
    }
    else // unsupported platform
    {

    }
  }
}

2使用Opencv库

由于虚幻的check宏定义和opencv的check冲突，所以直接使用编译是无法通过的。我们需要是使用头文件的时候，增加PreOpenCVHeaders和PostOpenCVHeaders两个文件，一前一后。

#include "PreOpenCVHeaders.h"
#include <opencv2/core.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/videoio.hpp>
#include "PostOpenCVHeaders.h"

3子线程

为了提高渲染效率，我们采用FRunnable方式使用子线程进行相关操作。
创建子线程

m_Thread = FRunnableThread::Create(this, TEXT("Video Thread"));

线程同步

由于UTexture2D只能在GameThread进行创建，但是我们使用是在子线程进行，所以这里需要进行线程同步。我们采用事件的方式进行。示例如下：

FEvent* SyncEvent = FGenericPlatformProcess::GetSynchEventFromPool(false);
  AsyncTask(ENamedThreads::GameThread, [this, SyncEvent]()
  {
   VideoTexture = UTexture2D::CreateTransient(m_VideoSize.X, m_VideoSize.Y);
   if (VideoTexture)
   {
    VideoTexture->UpdateResource();
   }
   m_Texture2DResource = (FTexture2DResource*)VideoTexture->GetResource();
   UE_LOG(LogTemp, Log, TEXT("UInVideoWidget UpdateTexture CreateTransient"));
   SyncEvent->Trigger();
  });
  SyncEvent->Wait();
  FGenericPlatformProcess::ReturnSynchEventToPool(SyncEvent);

原子对象

在控制线程退出时，我们通过原子变量进行控制。示例如下

TAtomic<bool> m_Stopping = false;

while (false == m_Stopping)
{

}

4更新纹理

再获取到数据之后，我们直接将数据更新到渲染线程的纹理中，不再进行gpu进行，示例代码如下 另外，UE5也提供了UpdateTextureRegions函数，但是经过测试这个函数只能在GameThread进行使用，我们改造了一下，使得其可以适应在子线程中运行。

for (int y = 0; y < m_VideoSize.Y; y++)
 {
  for (int x = 0; x < m_VideoSize.X; x++)
  {
   int i = x + (y * m_VideoSize.X);
   Data[i].B = m_WrapOpenCv->m_Frame.data[i * 3 + 0];
   Data[i].G = m_WrapOpenCv->m_Frame.data[i * 3 + 1];
   Data[i].R = m_WrapOpenCv->m_Frame.data[i * 3 + 2];
  }
 }
UpdateTextureRegions(VideoTexture,(int32)0, (uint32)1, m_VideoUpdateTextureRegion, (uint32)(4 * m_VideoSize.X), (uint32)4, (uint8*)Data.GetData(), false);

void UInVideoWidget::UpdateTextureRegions(UTexture2D* Texture, int32 MipIndex, uint32 NumRegions, FUpdateTextureRegion2D* Regions, uint32 SrcPitch, uint32 SrcBpp, uint8* SrcData, bool bFreeData)
{
 if (m_Texture2DResource)
 {
  struct FUpdateTextureRegionsData
  {
   FTexture2DResource* Texture2DResource;
   int32 MipIndex;
   uint32 NumRegions;
   FUpdateTextureRegion2D* Regions;
   uint32 SrcPitch;
   uint32 SrcBpp;
   uint8* SrcData;
  };
  FUpdateTextureRegionsData* RegionData = new FUpdateTextureRegionsData;

  RegionData->Texture2DResource = m_Texture2DResource;
  RegionData->MipIndex = MipIndex;
  RegionData->NumRegions = NumRegions;
  RegionData->Regions = Regions;
  RegionData->SrcPitch = SrcPitch;
  RegionData->SrcBpp = SrcBpp;
  RegionData->SrcData = SrcData;

  ENQUEUE_RENDER_COMMAND(UpdateTextureRegionsData)([RegionData, bFreeData](FRHICommandListImmediate& RHICmdList) {

   for (uint32 RegionIndex = 0; RegionIndex < RegionData->NumRegions; ++RegionIndex)
   {
    int32 CurrentFirstMip = RegionData->Texture2DResource->GetCurrentFirstMip();
    if (RegionData->MipIndex >= CurrentFirstMip)
    {
     RHIUpdateTexture2D(
      RegionData->Texture2DResource->GetTexture2DRHI(),
      RegionData->MipIndex - CurrentFirstMip,
      RegionData->Regions[RegionIndex],
      RegionData->SrcPitch,
      RegionData->SrcData
      + RegionData->Regions[RegionIndex].SrcY * RegionData->SrcPitch
      + RegionData->Regions[RegionIndex].SrcX * RegionData->SrcBpp
     );
    }
   }
   if (bFreeData)
   {
    FMemory::Free(RegionData->Regions);
    FMemory::Free(RegionData->SrcData);
   }
   delete RegionData;
   });
 }
}

5更新视频

直接调用ImageVideo更新纹理即可实现视频的播放

ImageVideo->SetBrushFromTexture(VideoTexture);

6插件使用

新建一个蓝图widget继承自InVideoWgidget，并新建一个Image对象，重新命名为ImageVideo。即可进行调用，可以参考videoUmg组件。

打开视频方法

关闭视频方法

Part3总结

本文主要介绍了一种基于UE5的安防视频播放思路。最后划重点，项目开源地址如下：https://github.com/inveta/InVideo

Part4关于IN VETA

IN VETA是一支由建模、美术、UE5组成的年轻团队。

我们致力于三维数字孪生技术分享与研发。
欢迎与各界朋友一起探讨技术与商务合作，一起推动数字孪生的发展。