一步步自定义视频播放器——使用SurfaceView播放视频

本文详细介绍了如何使用SurfaceView自定义视频播放器,包括Surface和SurfaceView的概念,SurfaceHolder的作用,以及SurfaceView与MediaPlayer结合播放视频的流程。SurfaceView通过独立的线程进行绘制,提供高帧率的视频播放体验。SurfaceHolder作为Surface的监听器,提供了Surface生命周期的回调。在结合MediaPlayer时,SurfaceView通过SurfaceHolder显示视频图像,采用双缓冲机制保证流畅播放。需要注意的是,SurfaceHolder的维护至关重要,否则可能导致视频声音播放但无画面显示的问题。
摘要由CSDN通过智能技术生成

Surface

Surface与SurfaceView这篇文章对Surface和SurfaceView做了很详细的解释。

简单的说Surface对应了一块屏幕缓冲区,每个window对应一个Surface,任何View都要画在Surface的Canvas上。传统的view共享一块屏幕缓冲区,所有的绘制必须在UI线程中进行。

Surface可以理解为: Surface类似一个句柄,可以得到Canvas、原始缓冲区以及其他方面的内容。
Canvas用于画图
原始缓冲区用于保存当前窗口的像素数据

SurfaceView

SurfaceView继承自View,但它有自己的Surface。

 if (mWindow == null) {    
         mWindow = new MyWindow(this);    
         mLayout.type = mWindowType;    
         mLayout.gravity = Gravity.LEFT|Gravity.TOP;    
         mSession.addWithoutInputChannel(mWindow, mWindow.mSeq, mLayout,    
         mVisible ? VISIBLE : GONE, mContentInsets);     
   }  

源码表明,SurfaceView会自己创建一个MyWindow,一个window对应一个Surface,因此SurfaceView也就内嵌了一个自己的Surface。

传统View及其派生类的更新只能在UI线程,然而UI线程还同时处理其他交互逻辑,这就无法保证View更新的速度和帧率了,而SurfaceView可以用独立的线程进行绘制,因此可以提供更高的帧率,例如游戏,摄像头取景等场景就比较适合SurfaceView来实现。

SurfaceHolder

SurfaceHolder是一个接口,其作用就像一个关于Surface的监听器,提供访问和控制SurfaceView内嵌的Surface相关的方法。
它通过三个回调方法,让我们可以感知到Surface的创建、销毁或者改变。
在SurfaceView中有一个方法getHolder,可以很方便地获得SurfaceView内嵌的Surface所对应的监听器接口SurfaceHolder。
SurfaceHolder.Callback主要是当底层的Surface被创建、销毁或者改变时提供回调通知,由于绘制必须在Surface被创建后才能进行,因此SurfaceHolder.Callback中的surfaceCreated 和surfaceDestroyed 就成了绘图处理代码的边界。
SurfaceHolder.Callback中定义了三个接口方法:

  1. abstract void surfaceChanged(SurfaceHolder holder, int format, int width, int height):当surface发生任何结构性的变化时(格式或者大小),该方法就会被立即调用。
  2. abstract void surfaceCreated(SurfaceHolder holder):当surface对象创建后,该方法就会被立即调用。
  3. abstract void surfaceDestroyed(SurfaceHolder holder):当surface对象在将要销毁前,该方法会被立即调用。

小结

  • SurfaceView是一个拥有独立绘图层的特殊View
  • Surface是内存中的一段绘图缓冲区
  • SurfaceView中具有两个Surface, 即双缓冲机制
  • SurfaceHolder是Surface的持有者,SurfaceView就是通过过SurfaceHolder来对Surface进行管理控制的。并且SurfaceView.getHolder方法可以获取SurfaceView相应的SurfaceHolder。
  • Surface是在SurfaceView所在的Window可见的时候创建的。我们可以使用SurfaceHolder.addCallback方法来监听Surface的创建与销毁的事件。

从设计模式的高度来看,Surface、SurfaceView和SurfaceHolder实质上就是广为人知的MVC,即Model-View-Controller。
Model就是模型的意思,或者说是数据模型,或者更简单地说就是数据,也就是这里的Surface;
View即视图,代表用户交互界面,也就是这里的SurfaceView;
SurfaceHolder很明显可以理解为MVC中的Controller(控制器)。

SurfaceView与MediaPlayer结合

SurfaceView解析视频的流程:首先确定视频的格式,知道编码格式后,通过编码格式进行解码,得到一帧一帧的图像,并把这些图像快速的显示在界面上。
简单地说,SurfaceView用来显示MediaPlayer中解析得到的视频图像。
MediaPlayer通过setDisplay(SurfaceHolder sh)来指定SurfaceView显示图像。

SurfaceView双缓冲

SurfaceView和大部分视频应用一样,把视频解析成的一帧帧图像进行显示。如果把这个解析放在一个线程中完成,可能在上一帧显示后,下一帧来不及解析,导致画面不流畅或者视频不同步。通过双缓冲机制来显示图像能够有效

使用 `pygame.Surface` 类播放视频,你需要使用 `cv2` 或 `moviepy` 等第三方库来读取视频帧,然后将每一帧读取到一个 `pygame.Surface` 对象中,最后使用 `pygame.Surface` 对象的 `blit()` 方法将每一帧绘制到屏幕上。以下是一个简单的示例代码,使用 `cv2` 库读取视频帧并在 Pygame 中播放: ```python import cv2 import pygame pygame.init() # 打开 Pygame 窗口 screen = pygame.display.set_mode((640, 480)) # 打开视频文件 video = cv2.VideoCapture('test.mp4') # 循环读取视频帧并在 Pygame 中播放 while True: # 读取视频帧 ret, frame = video.read() # 如果视频已经播放完毕,则退出循环 if not ret: break # 将视频帧转换为 Pygame Surface 对象 frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) frame = pygame.surfarray.make_surface(frame) # 将视频帧绘制到屏幕上 screen.blit(frame, (0, 0)) # 更新 Pygame 窗口 pygame.display.update() # 处理 Pygame 事件 for event in pygame.event.get(): if event.type == pygame.QUIT: # 如果用户关闭了 Pygame 窗口,则退出循环 break # 释放视频文件和 Pygame 资源 video.release() pygame.quit() ``` 在这个示例代码中,我们使用 `cv2.VideoCapture()` 函数打开视频文件,并循环读取视频帧。每一帧读取到一个 `numpy.ndarray` 对象中,然后使用 `cv2.cvtColor()` 函数将每一帧转换为 RGB 格式(因为 Pygame 默认使用 RGB 格式)。接下来,使用 `pygame.surfarray.make_surface()` 函数将每一帧转换为 Pygame Surface 对象。最后,使用 `blit()` 方法将每一帧绘制到 Pygame 窗口中,并使用 `pygame.display.update()` 方法更新 Pygame 窗口。当用户关闭 Pygame 窗口或者视频播放完毕时,退出循环并释放资源。 请注意,这只是一个简单的示例代码,实际使用中你可能需要更多的代码来处理视频的播放状态、视频的控制等问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值