DXGI抓屏优化扩展：GPU硬件编码保存文件即录像为MP4和FLV，外加麦克风+计算机声音

DXGI抓屏优化扩展：GPU硬件编码保存文件即录像为MP4和FLV，外加麦克风+计算机声音

我们一般要实现某个功能，首先希望能找到对应的DEMO，比如我们做屏幕共享，在WIN10下，首先想到的就是DXGI技术，帧率和效率是非常不错的，这里不讲性能，讲下怎么扩展某些功能：

前面一篇文章已经介绍和实现了以下功能：

1. 鼠标功能：
2. 数据获取
3. 多显示器需求（多屏，副显，扩展屏说法很多）

写这篇文章的目的在于继续扩大其高性能应用，我们继续扩展以下功能：

1. 硬件GPU编码
2. 录像同时保存为MP4和FLV
3. 录像时同时预览视频（D3D显示）
4. 声音输入多种选择：麦克风，计算机声音，麦克风+计算机声音混合

先说第一个：

DXGI如此性能优秀的截屏方法，如果我们再用H264软件编码，是不是有点暴殄天物

(拼音是bào tiǎn tiān wù),既然可以用dxgi抓屏，也可以用显卡加速进行编码，目前代码支持INTEL的QSV硬件加速和英伟达的CUDA硬件加速编码，当然也可以选择H264软编码，前者和后者主要还是性能上的差异，经过硬件加速的H264编码比软件编码更快，缺点是兼容性不是很好，不过既然都支持DXGI了，肯定也有显卡编码加速的支持。

好的，我们加上吧，直接上代码就是这么简单粗暴：

bool CFFFindEncoder::Find(char* szName)
{
	//MessageBox(0,L"1",0,0);
	AVCodecContext *c= NULL;
    //AVFrame *frame;
    AVPacket *pkt;
	AVCodec *codec=avcodec_find_encoder_by_name(szName);
	if(codec==0)
		return false;
	//MessageBox(0,L"2",0,0);
    c = avcodec_alloc_context3(codec);
    if (!c) 
	{
		return false;
    }
	//MessageBox(0,L"3",0,0);
    pkt = av_packet_alloc();
    if (!pkt)
	{
		return false;
    }
    c->bit_rate = 8000000;
    c->width = 1920;
    c->height = 1080;
	c->time_base.num=1;
    c->time_base.den=25;
	c->framerate.num=25;
    c->framerate.den=1;
	
    c->gop_size = 10;
    c->max_b_frames = 0;
    c->pix_fmt = AV_PIX_FMT_NV12;//AV_PIX_FMT_YUV420P;

    if (codec->id == AV_CODEC_ID_H264)
        av_opt_set(c->priv_data, "preset", "slow", 0);

    int ret = avcodec_open2(c, codec, NULL);
    if (ret < 0) {
		return false;
    }
	//MessageBox(0,L"4",0,0);

    avcodec_free_context(&c);
	av_packet_free(&pkt);
	return true;
}

以上代码是判断是否支持硬件编码：

调用代码为：

 

	int bOK0=0;//enc.Find(L"opus");
	char* Encoder[4]={"h264_qsv","h264_nvenc","libx264","h264_amf"};
	for(int i=0;i<4;i++)
	{
		char* szEncoder=Encoder[i];
		bOK0=enc.Find(szEncoder);//hevc_nvenc  h264_qsv
		if(bOK0)
		{
			m_nEncoder=i;
			PCHAR szA=Encoder[i];
			m_cx=(m_cx/16)*16;
			m_cy=(m_cy==768?768:m_cy);
			enc.Init(szA,m_cx ,m_cy);
			break;
		}
	}

如上面代码所示， h264_qsv显卡为intel GPU，h264_nvenc显卡为英伟达 GPU，libx264为软件编码，h264_amf还没测试，下次买个AMD的笔记本测试，不过代价挺大，哎，开发也不容易啊！

编码器初始化后就可以编码图像数据（YUV）为视频数据（H264）了，dxgi输出数据为RGB32，我们需要转换为NV12或者YV12，一般用libyuv进行转换效率更高。来吧，上代码：

static int ARGBToYv12(uint8* src_frame,uint8* dst_frame,int width,int height)	
{			
	uint8* yplane= dst_frame;		
	uint8* uplane= dst_frame	+ width	* height;		
	uint8* vplane= uplane+	(width	* height/4);		
	int n = libyuv::ARGBToI420(src_frame,width*4,yplane, width,uplane, width/2,vplane, width/2, width, height);		
	return n;        
}

static int ARGBToNv12(uint8* src_frame,uint8* dst_frame,int width,int height)	
{			
	uint8* yplane= dst_frame;		
	uint8* uplane= dst_frame	+ width	* height;		
	uint8* vplane= uplane+	(width	* height/4);		
	int n = libyuv::ARGBToNV12(src_frame,width*4,yplane, width,uplane, width, width, height);		
	return n;        
}

这个颜色空间转换速度很NICE，要做就做最好，这是我的原则！ 

先写到这里，下次继续写。。。尽请期待！QQ35744025联系我，美女优先