Direct3d 11下加入视频文件并实现音频视频同步

最新推荐文章于 2023-05-20 14:59:28 发布
置顶 最新推荐文章于 2023-05-20 14:59:28 发布
阅读量1.6k 收藏
点赞数
分类专栏： c++ mygui
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cparent/article/details/8137283
版权
c++ 同时被 2 个专栏收录
44 篇文章 0 订阅
订阅专栏
mygui
3 篇文章 0 订阅
订阅专栏

Media foundation作为微软目前视频和音频解码的标准库，里面有几乎所有window平台下的功能，最近因为项目要实现在mygui下播放视频，所以就研究了下该库，做法和directshow 中dump的例子很像。定义一个继承自IMFSampleGrabberSinkCallback的类，具体函数可以参照微软官方音频捕获的例子。

然后再找到media foundation 利用mediasession 播放视频的例子。然后只要改写其功能中render部分，将发送给显示硬件的数据接口改为发送到自己定义的接收区，这样就可以实现数据抓取了。由于代码太大而且比较多久不一一解释了

用到的接口有以下几种：

IMFMediaSource

IMFMediaSession

IMFMediaSource          

IMFVideoDisplayControl  

SampleGrabberCB

IMFAsyncCallback

IMFSourceResolver

IMFMediaTypeHandler

IMFActivate

IMFMediaType

IMFStreamDescriptor

IMFTopologyNode

IMFTopology

IMFPresentationDescriptor

有想法的联系:

362783516@qq.com

BUG日日新
关注
专栏目录
ffmpeg实时传输视频_使用ffmpeg和DirectX 11流式传输视频
weixin_26720753的博客
10-15 3148
ffmpeg实时传输视频A few months ago at work, I was tasked with developing a custom, low-latency video player. Prior to this, I had worked only briefly with FFmpeg and not at all with DirectX 11. But I figure...
DirectX11渲染过程
Markfound's blog
02-18 1898
对DirectX初始化完成后，就可以进行渲染了。 1.创建顶点着色器vertex_shader：顶点着色器负责接收顶点数据（位置信息、颜色信息等等）。shader编程使用的是HLSL语言，具体上就是告诉程序数据的格式。如下一个例子。 struct VS_INPUT //输入数据的格式 { float2 inPos : POSITION; float3 inColor : C...
用directx实现的最简单的视频播放器
11-09
用directx实现的最简单的视频播放器
Win8 视频播放编程接口测试 - DirectX11.1 VS11 (VS2012)
另一个Raptor，非专家
04-18 3260
Win8这回似乎是下决心扔掉DirectShow了，至少Metro是不会支持了，Media Foundation增加了IMFMediaEngine这个东西。DirectX 11.1这回总算是统一了，D3D，D2D，DW，MF等各自为政的时代已经过去，不用多设备，不用手动同步，这可以说是相对于11的一大改进，11确实还是个半成品，Win7也是半成品，Win8才是完整态。 视频专辑   现在Me
The Direct3D 11 Graphics Pipeline
3D编程之旅
06-26 2618
Direct3D 11图形管线         个人电脑一般都有两个处理器：CPU和GPU，你需要对每一个处理器编写代码。这两个部件拥有完全不同的架构和指令集。在图形编程中，你需要对两个处理器都都编写软件，对于CPU应用程序使用通用的语言，比如C++，对于GPU则使用HLSL。DirectX是系统之间的桥梁。大部分关于图形编程的文章都集中讲述CPU部分或者GPU部分，但是这两部分都是非常难懂的。
图形世界分裂的两派——理清Direct3D和OpenGL的脉络
weixin_30616969的博客
01-31 729
计算机三维图形是指将用数据描述的三维空间通过计算转换成二维图像并显示或打印出来的技术，API(Application Programming Interface)即“应用程序接口”是连接应用程序与操作系统、实现对计算机硬件控制的纽带，Direct3D和OpenGL是目前的两大3D图形 API，要在你的3D显卡上进行3D特效的制作、实现都必须通过它们（Vooodoo迷们肯定对Glide接口记忆尤...
ffmpeg_read.zip
07-14
尽管“ffmpeg_read.zip”中的同步可能不完美，但通常会通过PTS（Presentation Time Stamp）来确保音视频同步，即根据每个数据包的时间戳来安排播放顺序。 5. 视频渲染：解码后的视频帧需要通过图形库（如OpenGL、...
FFMpeg-3、基于QT实现音视频播放显示
最新发布
yinshipin007的博客
05-20 2577
为什么要采用QT的OpenGL三维的来绘制，直接使用QopenWidget、QWight也是可以的，但是如果使用后面的那么其实图像显示和界面的按钮是一套东西，当点击按钮刷新的时候就会存在闪屏的情况。因为视频显示存在像素格式的转换问题，要从解码出来的YUV格式转化为显示需要的RGB格式，视频的每一帧图像这么多像素点都需要转换，这是一个很大的开销，如果这一部分效率不高，那么对整体的视频播放性能都是十分有影响的，而QTopenGL也是效率很高的，直接操作显卡。后台缓冲表面和前台表面的概念总是同时出现的。
java对音频文件的频谱分析
liujunvy89的专栏
09-13 6807
MP3音频录音机MP3音频录音机是一款运行于个人计算机上的功能强大的录音、播放软件。使用它，您可将计算机内部或外部声音（如来自麦克风、线路输入、INTERNET的广播或各影音播放软件正在播放的声音）永久保存到硬盘上。 Frobis MP3 Studio 1.6该软件可以将WAV编码为MP3，或反向将MP3解码为 WAV，并可播放这两种文件格式，还可编辑MP3 Tag。 Filthy Fil...
各种音视频编解码学习详解 h264 ，mpeg4 ，aac 等所有音视频格式
12-27 2220
编解码学习笔记（一）：基本概念   媒体业务是网络的主要业务之间。尤其移动互联网业务的兴起，在运营商和应用开发商中，媒体业务份量极重，其中媒体的编解码服务涉及需求分析、应用开发、释放license收费等等。最近因为项目的关系，需要理清媒体的codec，比较搞的是，在豆丁网上看运营商的规范 标准，同一运营商同样的业务在不同文档中不同的要求，而且有些要求就我看来应当是历史的延续，也就是现在已经很少
Directshow实现的视频音频播放器1
03-02
Directshow实现的视频音频播放器.......可以播放rmvb等主流格式。。保证高清，界面仿迅雷看看...体积小....具有视频剪切合并添加字幕功能（添加字幕请保证字幕文件和视频文件同名）windows7专版...声音控制使用direct函数
DXVA2硬解及丢失设备重置
11-23
DXVA2硬解及丢失设备重置，拍照，播放的是mp4文件，公司项目参考资料
介绍Direct3D 11中的资源（十三）
萧戈的专栏
04-26 404
资源是场景的组成块。它们包含了Direct3D用来解释和渲染场景的大部分数据。资源是可以通过Direct3D管道访问的内存区域（这里指显存）。资源包含以下类型的数据:几何、纹理、着色器数据。 你能创建强类型或者弱类型的资源；你能控制资源是否能同时读和写。你能控制资源是否访问CPU、GPU、或者两个同时访问。 每个管道最多能激活128个资源。 Direct3D资源的生命周期为： 使用ID3D...
DirectX11学习笔记一 渲染一个三角形
MaxLykoS的博客
10-27 3052
  这两个月我看了看数据可视化，又看了看OpenCV，草稿箱里的东西阅存越多，最后还是决定入坑计算机图形学了。因为本科的时候学过一点OpenGLES和计算机图形学原理，再加上自己对游戏开发感兴趣，所以不打算再继续跟老师的方向走了。本来选现在的老师是打算学学游戏服务器的，奈何失算了，o(︶︿︶)o 唉。   本学习笔记的原始素材来自龙书DirectX11，代码来自GitHub。   不打算照抄别人博...
如何用Directshow采集摄像头图像
热门推荐
爱写代码的自由人
02-25 1万+
      很多人接触Directshow都是从采集摄像头开始的，因为用Directshow做采集是Windows平台上最通用、最成熟的做法。 现在市场上大多数的摄像头和采集卡在Windows系统上的驱动基于WDM架构，微软定义了采集卡设备与上层程序间的通信驱动接口，这已经成为一种标准，因此，控制摄像头和采集图像基本都通过Directshow框架来实现。VLC，FFmpeg等软件支持采集摄像头图像...
Intel MediaSDK sample_decode 官方GPU解码流程学习 - DirectX11 D3D11和OpenCL共享资源
英特尔开发人员专区
01-05 3464
最近一直在研究GPU全栈处理的方法。比如OpenVINO做GPU推理的时候，如果按照传统的思路MediasSDK/FFMPEG GPU解码 - CPU读出D3D11 buffer里的解码数据再传给OpenCL GPU buffer - OpenVINO做GPU推理， 这种由CPU做VRAM - 系统内存 - VRAM的拷贝方式势必会增加CPU的开销，而且也没必要，所以我一直想找一种方法能够把DirectX11的NV12数据直接在显存里共享给OpenCL框架访问。 首先研究一下简单的OpenCL和D3D11
终于搞定Direct3D中视频播放
jingwenlai_scut
05-21 3697
     弄了好长一段时间，今天终于把自己录的测试视频在Direct3D中显示出来，发个图留念。     翻了好久DirectShow的Sample例子Texture3D9,还有就是看参考书>,实现过程中，发现自己需要的效果与书中讲的有些区别，中间在找一些测试方法，比如，把视频渲染出的结果先存在图片中，看DirectShow出来的结果对不对。这部分一开始还去找一些tga之类的无损压缩的图片格式
DirectX* 11 多线程渲染的性能、方法和实践
IDZPRC的博客
05-23 933
对于在 CPU 上运行的 PC 游戏，渲染通常是主要的性能瓶颈；多线程渲染是一种消除瓶颈的有效方法。本文研究了 DirectX* 11 多线程渲染的性能可扩展性，讨论了多线程渲染的两种基本方法，并介绍了传统多线程延迟着色管线在大型在线游戏《战意*》中的应用。了解更多 ...
深度探索Direct3D 11：实践渲染与计算
《实践Direct3D 11渲染与计算》是由Jason Zink、Matt Pettineo和Jack Hoxley共同撰写的书籍，由CRC Press出版，隶属于Taylor & Francis Group。该书针对DirectX 11这个强大的图形API，旨在帮助用户在庞大功能中找到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值