【DirectX3D - 2】渲染YUV图片（离屏表面方式）

最新推荐文章于 2022-07-27 14:33:03 发布
最新推荐文章于 2022-07-27 14:33:03 发布
阅读量1.9k 收藏 5
点赞数 1
分类专栏： DirectX3D
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jobbofhe/article/details/109585744
版权

1. 介绍

目前D3D版本很多（10、11、12）， 本文以及后续的实例都将使用D3D9。
使用D3DAPI之前，首先需要安装DXSDK_Jun10.exe，这在前边的文章有介绍。具体安装非常容易，下载安装包一路下一步即可。

本文目的：本文将介绍如何将一帧YUV（NV12）数据渲染显示。
主要方法：创建离屏表面

2. 基本流程

代码流程：

  1. 创建D3D对象
  2. 创建D3D设备
  3. 创建离屏表面
  4. 加载YUV数据，将YUV数据拷贝到离屏表面
  5. 开始渲染

3. 接口介绍

3.1 CreateDevice（）

函数原型：

    CreateDevice(THIS_ UINT Adapter,
    D3DDEVTYPE DeviceType,HWND hFocusWindow,DWORD BehaviorFlags,
    D3DPRESENT_PARAMETERS* pPresentationParameters,
    IDirect3DDevice9** ppReturnedDeviceInterface);

  • 第一个参数：Adapter
    代理模式，即将要使用的显卡适配器的标识号，一般选择 D3DADAPTER_DEFAULT 就ok。

  • 第二个参数：DeviceType
    D3DDEVTYPE_HAL：硬件抽象层，通过显示硬件来完成图形渲染工作
    D3DDEVTYPE_REF：参考光栅器，一般用于测试显卡不支持的D3D功能
    D3DDEVTYPE_SW：用于支持第三方软件

  • 第三个参数：hFocusWindow
    创建的窗口句柄，也即图形将出现的窗口。
    是焦点窗口，当应用程序从前台模式切换到后台模式的时候向Direct3D提示的窗口。

如果是全屏模式，这个窗口指定的焦点窗口必须是最顶层窗口。

对于窗口模式，这个参数可以是NULL(用的是当前显示的窗口),除非PRESENTPARAMETERS的hDeviceWindow参数是一个合法的非NULL值。

交换链有多个后台缓存的时候，每个后台缓存需要各自hDeviceWindow设备窗口，可以共用一个hFocusWindow焦点窗口(一个焦点窗口可以只给一个后台缓存当做自己的设备窗口)。

  • 第四个参数：BehaviorFlags

D3DCREATE_SOFTWARE_VERTEXPROCESSING
由D3D软件进行顶点运算（常用）

D3DCREATE_FPU_PRESERVE
激活双精度浮点运算或浮点运算异常 检测，设置该项会降低系统性能

D3DCREATE_MULTITHREADED
保证D3D是多线程安全的，设置该项 会降低系统性能

D3DCREATE_MIXED_VERTEXPROCESSING
由混合方式进行顶点运算

D3DCREATE_HARDWARE_VERTEXPROCESSING
由D3D硬件进行顶点运算

D3DCREATE_PUREDEVICE
禁用D3D的Get*()函数，禁止D3D 使用虚拟设备模拟顶点运算

注意

D3DCREATE_HARDWARE_VERTEXPROCESSING
D3DCREATE_MIXED_VERTEXPROCESSING
D3DCREATE_SOFTWARE_VERTEXPROCESSING
这三个顶点运算时互斥的，且在该函数中必须被指定一个。

后台缓存只用在D3DPRESENT_PARAMETERS中用D3DPRESENTFLAG_LOCKABLE_BACKBUFFER指定了才能被锁定，多重采样纹理的后台缓存和深度缓存不能被锁定。

  • 第五个参数：pPresentationParameters
    渲染参数设定，根据需要创建。

  • 第六个参数：ppReturnedDeviceInterface
    该参数是输出参数，D3D设备，调用这个借口之后，创建成功的D3D设备将使用该参数返回。

3.2 StretchRect()

可以将一个矩形区域的像素从设备内存的一个Surface转移到另一个Surface上。
StretchRect()函数的原型如下

HRESULT StretchRect(
IDirect3DSurface9 * pSourceSurface,
CONST RECT * pSourceRect,
IDirect3DSurface9 * pDestSurface,
CONST RECT * pDestRect,
D3DTEXTUREFILTERTYPE Filter
);
  • pSourceSurface
    指向源Surface的指针。
  • pSourceRect
    使用一个 RECT结构体指定源Surface需要复制的区域。如果为NULL的话就是整个区域。
  • pDestSurface
    指向目标Surface的指针。
  • pDestRect
    使用一个 RECT结构体指定目标Surface的区域。
  • Filter
    设置图像大小变换的时候的插值方法。例如：
  • D3DTEXF_POINT
    邻域法。质量较差。
  • D3DTEXF_LINEAR
    线性插值，最常用。
// 以下代码实例了，如何将离屏表面的内存拷贝到后台缓冲区：
IDirect3DDevice9 *m_pDirect3DDevice;
IDirect3DSurface9 *m_pDirect3DSurfaceRender;
IDirect3DSurface9 * pBackBuffer;
m_pDirect3DDevice->GetBackBuffer(0,0,D3DBACKBUFFER_TYPE_MONO,&pBackBuffer);
m_pDirect3DDevice->StretchRect(m_pDirect3DSurfaceRender,NULL,pBackBuffer,&m_rtViewport,D3DTEXF_LINEAR);

// 将离屏表面的数据传给了后台缓冲表面。一但传给了后台缓冲表面，就可以用于显示了。

3.3 BeginScene、EndScene

在D3D中，需要使用BeginScene和EndScene函数，然后所有的图元绘制代码才能被调用。通过了解，需要注意下下面一些问题：

  1. BeginScene和EndScene必须成对实现。
  2. BeginScene不能连续调用两次否则会出现调用异常。
  3. EndScene属于作用是实际应用所有的绘制命令至显卡，但是它是异步执行的，即它会立即返回，但是不保证绘制命令执行完成。
  4. Present函数会最终等待所有绘制命令结束并将结果从back buffer拷贝到front buffer。
  5. BeginScene和EndScene之间的绘制代码量可以不要太多，当然太少也不好。这样才能保证最后的present不至于等待大量的CPU时间等显卡完成所有的绘制指令。这样可以在present之前多次使用BeginScene/EndScene队，保证CPU和GPU始终基本同时在工作（并行）。
  6. 如果确实存在BeginScene/EndScene之间绘制命令过多，可以在EndScene/Present之间添加一些CPU指令，避免CPU在Present时过多时间空等GPU完成绘制返回。

4. 代码

代码仅作为参考。

/**
 * 函数调用步骤如下：
 *
 * [初始化]
 * Direct3DCreate9()：获得IDirect3D9
 * IDirect3D9->CreateDevice()：通过IDirect3D9创建Device（设备）。
 * IDirect3DDevice9->CreateOffscreenPlainSurface()：通过Device创建一个Surface（离屏表面）。
 *
 * [循环渲染数据]
 * IDirect3DSurface9->LockRect()：锁定离屏表面。
 * memcpy()：填充数据
 * IDirect3DSurface9->UnLockRect()：解锁离屏表面。
 * IDirect3DDevice9->BeginScene()：开始绘制。
 * IDirect3DDevice9->GetBackBuffer()：获得后备缓冲。
 * IDirect3DDevice9->StretchRect()：拷贝Surface数据至后备缓冲。
 * IDirect3DDevice9->EndScene()：结束绘制。
 * IDirect3DDevice9->Present()：显示出来。
 */

#include <stdio.h>
#include <tchar.h>
#include <d3d9.h>
#include <windows.h>
#include <stdio.h>
#include <d3d9.h>
#include <d3dx9.h>
#include <tchar.h>
#include <time.h> 

#pragma comment(lib,"d3d9.lib")
#pragma comment(lib,"d3dx9.lib")
#pragma comment(lib,"dxguid.lib")
#pragma comment(lib, "winmm.lib") 

CRITICAL_SECTION  m_critial;

IDirect3D9* m_pDirect3D9 = NULL;
IDirect3DDevice9* m_pDirect3DDevice = NULL;
IDirect3DSurface9* m_pDirect3DSurfaceRender = NULL;

RECT m_rtViewport;

#define LOAD_BGRA    0
#define LOAD_YUV420P 1

const int screen_w = 1000, screen_h = 600;
const int pixel_w = 1920, pixel_h = 1080;
FILE* fp = NULL;

unsigned char buffer[pixel_w * pixel_h * bpp / 8];

void Cleanup()
{
	EnterCriticalSection(&m_critial);
	if (m_pDirect3DSurfaceRender)
		m_pDirect3DSurfaceRender->Release();
	if (m_pDirect3DDevice)
		m_pDirect3DDevice->Release();
	if (m_pDirect3D9)
		m_pDirect3D9->Release();
	LeaveCriticalSection(&m_critial);
}


int InitD3D(HWND hwnd, unsigned long lWidth, unsigned long lHeight)
{
	HRESULT lRet;
	InitializeCriticalSection(&m_critial);
	Cleanup();

	m_pDirect3D9 = Direct3DCreate9(D3D_SDK_VERSION);
	if (m_pDirect3D9 == NULL)
		return -1;

	D3DPRESENT_PARAMETERS d3dpp;
	ZeroMemory(&d3dpp, sizeof(d3dpp));
	d3dpp.Windowed = TRUE;
	d3dpp.SwapEffect = D3DSWAPEFFECT_DISCARD;
	d3dpp.BackBufferFormat = D3DFMT_UNKNOWN;

	GetClientRect(hwnd, &m_rtViewport);

	lRet = m_pDirect3D9->CreateDevice(D3DADAPTER_DEFAULT, D3DDEVTYPE_HAL, hwnd,
		D3DCREATE_SOFTWARE_VERTEXPROCESSING,
		&d3dpp, &m_pDirect3DDevice);
	if (FAILED(lRet))
		return -1;

#if LOAD_BGRA
	lRet = m_pDirect3DDevice->CreateOffscreenPlainSurface(
		lWidth, lHeight,
		D3DFMT_X8R8G8B8,
		D3DPOOL_DEFAULT,
		&m_pDirect3DSurfaceRender,
		NULL);
#elif LOAD_YUV420P
	lRet = m_pDirect3DDevice->CreateOffscreenPlainSurface(
		lWidth, lHeight,
		(D3DFORMAT)MAKEFOURCC('N', 'V', '1', '2'),
		D3DPOOL_DEFAULT,
		&m_pDirect3DSurfaceRender,
		NULL);
#endif

	if (FAILED(lRet))
		return -1;

	return 0;
}


bool Render()
{
	HRESULT lRet;
	if (fread(buffer, 1, pixel_w * pixel_h * bpp / 8, fp) != pixel_w * pixel_h * bpp / 8) {
		fseek(fp, 0, SEEK_SET);
		fread(buffer, 1, pixel_w * pixel_h * bpp / 8, fp);
	}
	if (m_pDirect3DSurfaceRender == NULL)
		return -1;
	D3DLOCKED_RECT d3d_rect;
	lRet = m_pDirect3DSurfaceRender->LockRect(&d3d_rect, NULL, D3DLOCK_DONOTWAIT);
	if (FAILED(lRet))
		return -1;

	byte* pSrc = buffer;
	byte* pDest = (BYTE*)d3d_rect.pBits;
	int stride = d3d_rect.Pitch;
	unsigned long i = 0;

	//Copy Data
#if LOAD_BGRA
	int pixel_w_size = pixel_w * 4;
	for (i = 0; i < pixel_h; i++) {
		memcpy(pDest, pSrc, pixel_w_size);
		pDest += stride;
		pSrc += pixel_w_size;
	}
#elif LOAD_YUV420P
	for (i = 0; i < pixel_h; i++) {
		memcpy(pDest + i * stride, pSrc + i * pixel_w, pixel_w);
	}
	for (i = 0; i < pixel_h / 2; i++) {
		memcpy(pDest + stride * pixel_h + i * stride / 2, pSrc + pixel_w * pixel_h + pixel_w * pixel_h / 4 + i * pixel_w / 2, pixel_w / 2);
	}
	for (i = 0; i < pixel_h / 2; i++) {
		memcpy(pDest + stride * pixel_h + stride * pixel_h / 4 + i * stride / 2, pSrc + pixel_w * pixel_h + i * pixel_w / 2, pixel_w / 2);
	}
#endif

	lRet = m_pDirect3DSurfaceRender->UnlockRect();
	if (FAILED(lRet))
		return -1;

	if (m_pDirect3DDevice == NULL)
		return -1;

	m_pDirect3DDevice->Clear(0, NULL, D3DCLEAR_TARGET, D3DCOLOR_XRGB(255, 0, 0), 1.0f, 0);

	m_pDirect3DDevice->BeginScene();
	IDirect3DSurface9* pBackBuffer = NULL;

	m_pDirect3DDevice->GetBackBuffer(0, 0, D3DBACKBUFFER_TYPE_MONO, &pBackBuffer);

	m_rtViewport.left = 100;
	m_rtViewport.top = 100;
	m_rtViewport.right = 600;
	m_rtViewport.bottom = 400;

	m_pDirect3DDevice->StretchRect(m_pDirect3DSurfaceRender, NULL, pBackBuffer, &m_rtViewport, D3DTEXF_LINEAR);
	m_pDirect3DDevice->EndScene();
	
	m_pDirect3DDevice->Present(NULL, NULL, NULL, NULL);
	pBackBuffer->Release();

	return true;
}

LRESULT WINAPI MyWndProc(HWND hwnd, UINT msg, WPARAM wparma, LPARAM lparam)
{
	switch (msg) {
	case WM_DESTROY:
		Cleanup();
		PostQuitMessage(0);
		return 0;
	}
	return DefWindowProc(hwnd, msg, wparma, lparam);
}

int WINAPI WinMain(__in HINSTANCE hInstance, __in_opt HINSTANCE hPrevInstance, __in LPSTR lpCmdLine, __in int nShowCmd)
{
	WNDCLASSEX wc;
	ZeroMemory(&wc, sizeof(wc));
	wc.cbSize = sizeof(wc);
	wc.hbrBackground = (HBRUSH)(COLOR_WINDOW + 1);
	wc.lpfnWndProc = (WNDPROC)MyWndProc;
	wc.lpszClassName = L"D3D";
	wc.style = CS_HREDRAW | CS_VREDRAW;
	RegisterClassEx(&wc);
	HWND hwnd = NULL;
	hwnd = CreateWindow(L"D3D", L"DireectX3D render YUV", WS_OVERLAPPEDWINDOW, 100, 100, 800, 600, NULL, NULL, hInstance, NULL);
	if (hwnd == NULL) {
		return -1;
	}

	if (InitD3D(hwnd, pixel_w, pixel_h) == E_FAIL) {
		return -1;
	}

	ShowWindow(hwnd, nShowCmd);
	UpdateWindow(hwnd);

#if LOAD_BGRA
	fp = fopen("../test_bgra_320x180.rgb", "rb+");
#elif LOAD_YUV420P
	fp = fopen("./12_1920_1088.yuv", "rb+");
#endif
	if (fp == NULL) {
		printf("Cannot open this file.\n");
		return -1;
	}
	MSG msg;
	ZeroMemory(&msg, sizeof(msg));
	while (msg.message != WM_QUIT) {
		if (PeekMessage(&msg, NULL, 0, 0, PM_REMOVE)) {
			TranslateMessage(&msg);
			DispatchMessage(&msg);
		}
		else {
			Sleep(400);
			Render();
		}
	}
	UnregisterClass(L"D3D", hInstance);
	return 0;
}

参考资料

[1] http://www.voidcn.com/article/p-egqvdlga-bdz.html
[2] https://blog.csdn.net/yaoxinchao/article/details/7984820
[3] https://blog.csdn.net/cnjet/article/details/5950483?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param

H264解码之D3D显示YUV
学无止尽，谨言慎行！
06-12 2508
文章目录概述关系参考接口介绍显示方式纹理方式使用shader的纹理方式不使用shader的纹理方式表面(Surface)方式 概述 备注：本文主要针对DirectX 9.0版本来讨论的。 在开始这篇文章之前，我们先阐述一下一些名词：DX、DDraw、DirectShow、D3D、DirectX、DirectDraw等。 关系 首先我们理一理他们之间的关系，这些关键词统称DirectX，简称DX，它...
D3D11直接渲染YUV
07-27
采取三纹理方式使D3D可以直接渲染YUV数据
D3D三层Texture纹理经像素着色器实现渲染YUV420P
12-05
D3D三层Texture纹理经像素着色器实现渲染YUV420P全工程源码，VS2013编译通过，修改成VS2008也可编译通过。运行前确保安装了DirectX9.
DirectX-渲染到纹理
weixin_33979745的博客
04-23 286
什么是纹理 熟悉DX的兄弟们都知道什么叫纹理了，这里简单介绍一下，先看看现实生活中的例子吧，其实纹理的例子比比皆是，比如地板，墙面都是纹理。在图形学中，纹理主要是为了增强场景的真实感，如果你想绘制一个地面，简单一点可以直接使用一个矩形，稍微复杂一点可以用三角形网格，再复杂一点可以使用地面纹理，有了纹理以后真实感明显增强了。DX中的纹理映射其实就是对现实生活中纹理的模拟，D3D中有专门的数据结构来...
d3d(texture)渲染YUV420
02-10
采用d3d的texture渲染YUV420，使用了shader
使用D3D渲染YUV视频数据
sun007700的专栏
06-19 304
https://blog.csdn.net/weixin_34321977/article/details/85612579
【使用D3D11直接渲染YUV数据】
wss260046582的博客
07-27 4375
D3D11采取三纹理方式直接渲染YUV数据
【Directx3D-4】渲染图片（纹理贴图方式）
春秋繁露
11-18 2053
【Directx3D-04】渲染图片（纹理贴图方式）
Direct3D离屏表面
04-22
D3d 离屏表面 一个非常简单的例子 可能对你有用
音视频之渲染yuv图片
mr_x的博客
03-17 9235
音视频之opengl绘制三角形 音视频之opengl渲染图片 前一篇我们讨论了如何渲染一个普通图片（rgb） 现在我们来讨论如何渲染一个yuv图片。 什么是yuv我们这里有一个说的不错的文章 yuv解释链接 我们摄像头采集到的，最后我们用来显示的都是yuv数据。所以我们必须的理解yuv格式，yuv有很多种格式，什么yuv420p,yuv422等。需要学习的就在上面的连接进行学习。 我们先看看下面效...
DirectX 3D渲染yuv/RGB数据模块--D3DRender.cpp
qq_297152562的博客
07-09 1240
#include "D3DRender.h" CD3DRender::CD3DRender() { m_pDirect3D9 = NULL; m_pDirect3DDevice = NULL; m_pDirect3DSurfaceRender = NULL; m_bDeviceLost = false; m_nWidth = 0; m_nHeight = 0; ZeroMemory(&m_d3dpp, sizeof(m_d3dpp)); } CD3DRender::~CD3DRe
Unity 渲染 YUV
akak2010110的专栏
07-14 4384
YUV YUV和RGB一样，是另一套用来表达颜色的方案。其详细叙述请参阅[YUV的维基](https://en.wikipedia.org/wiki/YUV) 欢迎使用Markdown编辑器加粗样式 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Mar...
C# wpf 使用d3d渲染yuv视频数据
11-12
在wpf中可以使用hwnd渲染视频，但是有一个缺点，和wpf的控件不...为了解决这一问题，找到了一种可以和wpf绘制兼容的视频渲染方式，使用d3d渲染。原文链接：https://blog.csdn.net/u013113678/article/details/121296452
用DirectX实现多视图渲染
weixin_33863087的博客
03-26 148
什么是多视图 一般的3D程序都只有一个视图，对应整个窗口的客户区。多视图就是在一个窗口中放置多个视图，以便从不同的角度观察模型或者场景。很多图形软件都有这个功能，比如大家熟知的3DMax就有四个视图，分别是前视图，左视图，顶视图和透视图。还有一些游戏引擎也有类似的Demo，比如irrlicht引擎中的SplitScreen就是用多视图实现的，如下图。 什么是视口(viewport)？ 用...
用DirectDraw显示YV12图像,离屏表面blt主表面
smilestone322的专栏
06-11 3731
http://real.zdell.com/a/200512/818.html这个问题在我初学DirectX是困惑了我很久，贴出来为初学者提供一个参考。// yv12.cpp :  seac@tom.com, caohai 2005.1#define WIN32_LEAN_AND_MEAN        // 从 Windows 头中排除极少使用的资料#include #include
MinimalOffscreenD3D:使用 D3D11 和 WIC 进行屏幕外图像渲染的最小项目
06-14
最小离屏D3D 使用 D3D11 和 WIC 进行屏幕外图像渲染的最小 C++ 项目。 这个原生 C++ 控制台应用程序非常简单，它使用来自 Windows 8 SDK 的 API 以及一些很酷的 Visual Studio 2013 功能生成一个 PNG。 没有创建窗口，没有 WinAPI 调用，只有： Direct3D 11, Windows 成像组件 (WIC)， 集成HLSL编译器， stl。 脚步 创建 D3D11 设备和上下文。 创建屏幕外缓冲区。 加载和设置着色器。 画一个简单的四边形。 从渲染目标复制纹理。 创建 png 编码器和流。 保存图像缓冲区。
DirectX--yuv420p上实现的字符叠加 分类： ffmpeg...
weixin_30408309的博客
12-17 224
unsigned char *pTemp; BYTE OsdY = 0;BYTE OsdU = 0;BYTE OsdV = 0;void OSDSetTextColor(BYTE OsdR, BYTE OsdG, BYTE OsdB){ OsdY = 0.25*OsdR+0.504*OsdG+0.098*OsdB+16; OsdU = -0.148*OsdR-0.291*OsdG+0...
directdraw显示yuv422(yuy2)
技术联盟
11-14 2990
#include void CshowpicDlg::OnBnClickedButton3() {  // TODO: 在此添加控件通知处理程序代码     height=width=widthBytes=0;  m_screen.SetWindowPos(&CWnd::wndBottom,0,0,720,576, SWP_NOMOVE | SWP_SHOWWINDOW);  Upd
【杂记】DirectX-渲染到纹理（离屏渲染）
qq_40947718的博客
10-19 2431
转载自 http://www.cnblogs.com/graphics/ DirectX-渲染到纹理 什么是纹理 熟悉DX的兄弟们都知道什么叫纹理了，这里简单介绍一下，先看看现实生活中的例子吧，其实纹理的例子比比皆是，比如地板，墙面都是纹理。在图形学中，纹理主要是为了增强场景的真实感，如果你想绘制一个地面，简单一点可以直接使用一个矩形，稍微复杂一点可以用三角形网格，再复杂一点可以使用地面纹理...
YUV格式和RGB格式互转
自由空间,实现思想的自由之地
10-31 2002
对于R8G8B8A8格式的颜色，可以通过下面公式转换为YUV(I420)格式。 unsigned char Y = static_cast((65.738*r + 129.057*g + 25.064*b)/256 + 16); unsigned char U = static_cast((-37.945*r - 74.494*g + 112.439*b)/256 + 128); unsig
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值