Android PreviewCallback和OnPreviewFrame学习,附一个简单的Demo


因为最近项目的需要,将录制视频改成采用onpreviewframe()采集视频帧。看了很多的资料,感觉都写的不是很全,我就看了很多帖子,集百家之长,写了自己的总结和见解,同时附了一个小Demo。对于圆形surfaceView的设置可以参考绘制圆形surfaceview


相机在绑定 SurfaceHolder.Callback 之后,可以设置将预览显示在SurfaceView上 。这里SurfaceView有自己的生命周期,但是我们也可以获取到预览的数据。

添加绑定

这就是通过绑定PreviewCallBack,来获取到视频帧。

如下图在Activity继承两个回调的接口
在这里插入图片描述SurfaceHolder.Callback 自动重载如下函数

 @Override
    public void surfaceCreated(SurfaceHolder holder) {
    }

    @Override
    public void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {
       
    }

    @Override
    public void surfaceDestroyed(SurfaceHolder holder) {
      
    }

PreviewCallBack自动回调 onPreviewFrame 这个函数

@Override
    public void onPreviewFrame(byte[] data, Camera camera) {
    //在预览的时候不停的调用这个函数,有一个自己的子线程。
    //data数组中保存的就是每一帧的数据,动态覆盖掉上一帧的数据
    //如需保存则将每一帧的信息取出来另存
    }

onPreviewFrame 触发方式

onPreviewFrame 这个函数并不是在预览一开始就自动调用的,而是需要触发的。触发的方式有三种:

  • setPreviewCallback(PreviewCallback cb)
  • setOneShotPreviewCallback(PreviewCallback cb)
  • setPreviewCallbackWithBuffer(PreviewCallback cb)

我们可以在按钮的点击事件中加入触发,则程序会自动调用Activity下的 onPreviewFrame() 函数。


在这里插入图片描述下面说一下三种调用方式的区别:

  • void setPreviewCallback (PreviewCallback cb)
    一旦使用此方法注册预览回调接口,onPreviewFrame()方法会一直被调用,直到camera preview销毁
  • void setOneShotPreviewCallback (PreviewCallback cb)
    使用此方法注册预览回调接口时,会将下一帧数据回调给onPreviewFrame()方法,调用完成后这个回调接口将被销毁。也就是只会回调一次预览帧数据
  • void setPreviewCallbackWithBuffer (PreviewCallback cb)
    它跟setPreviewCallback的工作方式一样,但是要求指定一个字节数组作为缓冲区,用于预览帧数据,这样能够更好的管理预览帧数据时使用的内存。它一般搭配addCallbackBuffer方法使用

setPreviewCallbackWithBuffer设置缓冲区

这种方式需要提前设置缓冲区

byte[] mPreBuffer = null;
 @Override
 public void onPreviewFrame(byte[] data, Camera camera) {
 // TODO Auto-generated method stub
 if (data == null || mPreviewSize == null|| data.length != mPreviewSize.width * mPreviewSize.height * 3 / 2) {
    return;
 }
 //这里size的算法是我看的网上的代码,我并没有自己计算
 //mPreviewSize.width = 预览图像的宽
 //mPreviewSize.height = 预览图像的高
 int size = mPreviewSize.width * mPreviewSize.height * 3 / 2;
 if (mPreBuffer == null) {
    mPreBuffer = new byte[size];
 }
  mCamera.addCallbackBuffer(mPreBuffer);
}

同时我们在设置相机时,在startPreview() 之前需要 addCallbackBuffer(mPreBuffer),因为setPreviewCallbackWithBuffer (PreviewCallback cb)使用之前需要指定字节数组作为缓冲。
在这里插入图片描述注:我们需要在两处添加 addCallBackbuffer() ,一个是在相机初始化的 startPreview() 之前,一个是在onPreviewFrame() 中。

这里对于缓冲区的申请需要计算一下它的size。

对于我们获取的NV12格式的数据,缓冲区的Size可以使用预览图像的宽、高和每个像素的字节数的乘积计算。宽高可以使用getPreviewSize()方法获取。
  
其他两种也有申请缓冲区,但是缓冲区是系统自动分配的,不需要我们去申请,当缓冲小到不能支持预览帧数据时,预览回调接口将会return null,然后从缓冲区队列中移除此缓冲区。

注:在surfaceView销毁时或者是停止调用预览帧时,执行setPreviewCallback(null);中止回调然后再释放相机的资源,会减少异常的出现。

Demo后注:

我的Demo是用的setPreviewCallback (PreviewCallback cb),感觉用这个最简单,而且我用着并没有发生 内存抖动 等问题,所以没有使用,是做了一个保存400帧图像数据,然后将每一帧像素平均成一个点,获得一个400长度的一维数组(这是从我的实验室项目中拆出来的,所以没有贴后续的操作)。

若是需要保存图像的话或者是有需要用setPreviewCallbackWithBuffer的话,可以自己添加修改。

demo中还有存储视频的方式,具体可以看一下Android Camera 预览及录制视频

Demo的GitHub地址:
https://github.com/qunqunstyle/multithreading

  • 8
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在 onPreviewFrame 方法中实现心跳检测和心跳次数界面更新的代码,可以按照以下步骤进行: 1. 创建一个 Camera.PreviewCallback 类型的变量来接收预览帧数据,并在 SurfaceView 中设置该变量。 ```java private Camera.PreviewCallback mPreviewCallback = new Camera.PreviewCallback() { @Override public void onPreviewFrame(byte[] data, Camera camera) { // 在这里实现心跳检测和心跳次数界面更新的代码 } }; mSurfaceView.getHolder().addCallback(new SurfaceHolder.Callback() { @Override public void surfaceCreated(SurfaceHolder holder) { try { mCamera.setPreviewDisplay(holder); mCamera.setPreviewCallback(mPreviewCallback); // 设置预览帧数据回调 mCamera.startPreview(); } catch (IOException e) { e.printStackTrace(); } } @Override public void surfaceChanged(SurfaceHolder holder, int format, int width, int height) { // do nothing } @Override public void surfaceDestroyed(SurfaceHolder holder) { mCamera.setPreviewCallback(null); mCamera.stopPreview(); mCamera.release(); mCamera = null; } }); ``` 2. 在 onPreviewFrame 方法中解析预览帧数据,并进行心跳检测和心跳次数统计。这里以 OpenCV 库为例实现心跳检测。 ```java @Override public void onPreviewFrame(byte[] data, Camera camera) { // 将预览帧数据转换为 Mat 对象 Mat frame = new Mat(mPreviewSize.height + mPreviewSize.height / 2, mPreviewSize.width, CvType.CV_8UC1); frame.put(0, 0, data); // 将 YUV 格式转换为 RGB 格式 Mat rgba = new Mat(); Imgproc.cvtColor(frame, rgba, Imgproc.COLOR_YUV2RGBA_NV21, 4); // 转换为灰度图像 Mat gray = new Mat(); Imgproc.cvtColor(rgba, gray, Imgproc.COLOR_RGBA2GRAY); // 心跳检测 MatOfRect faces = new MatOfRect(); if (mCascadeClassifier.detectMultiScale(gray, faces, 1.1, 2, 0, new Size(100, 100))) { // 检测到人脸 Rect[] rects = faces.toArray(); for (Rect rect : rects) { // 绘制人脸框 Imgproc.rectangle(rgba, rect.tl(), rect.br(), new Scalar(0, 255, 0, 255), 3); // 计算心跳次数 int heartRate = computeHeartRate(rect, rgba); // 更新界面 updateHeartRate(heartRate); } } // 将处理后的图像显示在 SurfaceView 上 Bitmap bitmap = Bitmap.createBitmap(rgba.cols(), rgba.rows(), Bitmap.Config.ARGB_8888); Utils.matToBitmap(rgba, bitmap); Canvas canvas = mSurfaceView.getHolder().lockCanvas(); if (canvas != null) { canvas.drawBitmap(bitmap, 0, 0, null); mSurfaceView.getHolder().unlockCanvasAndPost(canvas); } } ``` 3. 实现 computeHeartRate 和 updateHeartRate 方法,分别计算心跳次数和更新界面。 ```java private int computeHeartRate(Rect rect, Mat rgba) { // 计算心跳次数 // TODO: 实现心跳次数计算方法 return 0; } private void updateHeartRate(int heartRate) { // 更新界面 runOnUiThread(new Runnable() { @Override public void run() { mHeartRateTextView.setText(String.valueOf(heartRate)); } }); } ``` 注意:在使用 OpenCV 库时,需要在项目的 build.gradle 文件中添加以下依赖: ```groovy implementation "org.opencv:opencv-android:4.5.2" ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值