2022-07-21 Android开发相机预览数据处理优化setPreviewCallbackWithBuffer()

最新推荐文章于 2024-04-21 23:21:14 发布

颈椎以上瘫痪

最新推荐文章于 2024-04-21 23:21:14 发布

阅读量2k

点赞数

文章标签： android

本文链接：https://blog.csdn.net/qq_36707668/article/details/127142528

版权

背景

Android开发中Camera常用的是预览或者拍照等操作，但是笔者这里业务不需要预览相机的画面，而是需要拿到相机的预览数据，转成图片，进行图像处理，所以需要得到相机的预览数据。

平常情况下，我们只需要以下代码就可以得到相机预览数据：

private void init() {
    SurfaceView mSurfaceView = findViewById(R.id.sv);
    mHolder = mSv.getHolder();
    mHolder.addCallback(mSurfaceHolderCallback);
}

private SurfaceHolder.Callback mSurfaceHolderCallback = new SurfaceHolder.Callback() {
    @Override
    public void surfaceCreated(@NonNull SurfaceHolder surfaceHolder) {}

    @Override
    public void surfaceChanged(@NonNull SurfaceHolder surfaceHolder, int channel, int width, int height) {
        openCamera();
    }

    @Override
    public void surfaceDestroyed(@NonNull SurfaceHolder surfaceHolder) {}
};

private void openCamera() {
    mCamera = Camera.open();
    mCameraParameters = mCamera.getParameters();

    //设置自动对焦,否则画面不清晰
    mCameraParameters.setFocusMode(Camera.Parameters.FOCUS_MODE_CONTINUOUS_PICTURE);
    mCamera.setParameters(mCameraParameters);

    //默认预览图像是镜像的,这里根据设备的方向做一个旋转
    final int orientation = getResources().getConfiguration().orientation;
    int previewCaptureRotation = 90;
    if (orientation == Configuration.ORIENTATION_LANDSCAPE) {
        previewCaptureRotation = 180;
    } else if (orientation == Configuration.ORIENTATION_PORTRAIT) {
        previewCaptureRotation = 90;
    }
    mCamera.setDisplayOrientation(previewCaptureRotation);

    try {
        mCamera.setPreviewDisplay(mHolder);
        mCamera.setPreviewCallback(mCameraPreviewCallback);
        mCamera.startPreview();
    } catch (Exception e) {
        e.printStackTrace();
        System.out.println("设置相机预览异常");
    }
}

Camera.PreviewCallback mCameraPreviewCallback = new Camera.PreviewCallback() {
    @Override
    public void onPreviewFrame(byte[] bytes, Camera camera) {
        // TODO bytes 相机预览数据
    }
};

通过上述代码，对相机的一些基础设置，和设置一个显示位置，然后开始预览相机，在控件中就可以预览相机画面，通过相机setPreviewCallback()函数设置一个预览回调接口，回调函数onPreviewFrame()中的bytes[]就是相机内帧图像数据。该回调会将每一帧数据一个不漏的传过来。

private static long thisT = 0;
private static long lastT = 0;

Camera.PreviewCallback mCameraPreviewCallback = new Camera.PreviewCallback() {
    @Override
    public void onPreviewFrame(byte[] bytes, Camera camera) {
        lastT = thisT;
        thisT = System.currentTimeMillis();
        System.out.println(Thread.currentThread().getName()+",相机数据间隔:" + (thisT - lastT));
    }
};

//logcat
2022-07-21 09:37:29.456 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:32
2022-07-21 09:37:29.485 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:29
2022-07-21 09:37:29.518 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:37:29.552 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:34
2022-07-21 09:37:29.589 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:37
2022-07-21 09:37:29.622 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:37:29.656 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:34
2022-07-21 09:37:29.683 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:27
2022-07-21 09:37:29.716 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:37:29.750 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:34
2022-07-21 09:37:29.783 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:37:29.815 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:32
2022-07-21 09:37:29.856 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:41
2022-07-21 09:37:29.887 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:31

通过日志查看每一帧的间隔约35ms，并且这个回调是在主线程中，图像处理一般都是耗时比较多的，如果你要在这里做什么，请注意你的线程操作，避免程序卡顿和数据同步问题。大多数情况下我们对图像的操作会超过这个时间，为了保证数据同步，我们会采取丢帧的方式，如果在处理这一帧的过程中，下一帧数据来了，我们直接丢弃不处理。另外每一帧的数据都是一块新的内存区域，这会造成系统的频繁GC。本文就将记录这种情况下的处理优化。

上述代码中使用的是setPreviewCallback()函数设置一个相机预览回调：

mCamera.setPreviewCallback(mCameraPreviewCallback);

同时Android API还提供了setPreviewCallbackWithBuffer()函数给我们使用

mCamera.addCallbackBuffer(new byte[bufferSize]);
mCamera.setPreviewCallbackWithBuffer(mCameraPreviewCallbackWithBuffer);

Camera.PreviewCallback mCameraPreviewCallbackWithBuffer = new Camera.PreviewCallback() {
    @Override
    public void onPreviewFrame(byte[] bytes, Camera camera) {
        lastT = thisT;
        thisT = System.currentTimeMillis();
        System.out.println(Thread.currentThread().getName() + ",相机数据间隔:" + (thisT - lastT));
        mCamera.addCallbackBuffer(bytes);
    }
};

//logcat
2022-07-21 09:51:20.038 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:51:20.073 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:35
2022-07-21 09:51:20.106 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:51:20.139 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:51:20.173 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:34
2022-07-21 09:51:20.212 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:38
2022-07-21 09:51:20.241 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:30
2022-07-21 09:51:20.271 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:30
2022-07-21 09:51:20.306 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:35
2022-07-21 09:51:20.338 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:32
2022-07-21 09:51:20.371 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:51:20.405 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:34
2022-07-21 09:51:20.439 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:51:20.472 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:34

通过日志可以看到我们仍然能够拿到相机的预览数据。这样做优化的内容是setPreviewCallbackWithBuffer()的回调函数onPreviewFrame()中的每一帧数据bytes都是复用同一块缓冲区域，byte[]对象没有变，但是数据的内容改变了，并且该回调不会返回每一帧数据，而是在调用addCallbackBuffer()函数之后才会回调，所以setPreviewCallbackWithBuffer()需要结合addCallbackBuffer()来使用。

这样看来使用setPreviewCallbackWithBuffer()回调来拿相机的预览数据就有2处优化部分了，一个是回调数据对象复用减缓系统的垃圾回收时间，另一个是当我们需要的时候再来拿预览数据，也就是说当我们拿到一帧数据还正在处理时，我不需要回调给我下一帧的数据，当我们把这一帧数据处理完了，再执行addCallbackBuffer()函数通知回调可以给我下一帧数据了。

使用setPreviewCallbackWithBuffer()的代码基本与使用setPreviewCallback()一样，只是最后设置的回调接口不一样。但是注意在执行setPreviewCallbackWithBuffer()函数设置回调之前一定要先执行一次addCallbackBuffer()函数，因为这是配合使用的，不执行addCallbackBuffer()函数setPreviewCallbackWithBuffer()的回调是不会执行的，同理在setPreviewCallbackWithBuffer()的回调中，处理完图像也必须再调用一次addCallbackBuffer()函数，否则后面就不会回调了。

private void init() {
    SurfaceView mSurfaceView = findViewById(R.id.sv);
    mHolder = mSv.getHolder();
    mHolder.addCallback(mSurfaceHolderCallback);
}

private SurfaceHolder.Callback mSurfaceHolderCallback = new SurfaceHolder.Callback() {
    @Override
    public void surfaceCreated(@NonNull SurfaceHolder surfaceHolder) {}

    @Override
    public void surfaceChanged(@NonNull SurfaceHolder surfaceHolder, int channel, int width, int height) {
        openCamera();
    }

    @Override
    public void surfaceDestroyed(@NonNull SurfaceHolder surfaceHolder) {}
};

private void openCamera() {
    mCamera = Camera.open();
    mCameraParameters = mCamera.getParameters();

    //设置自动对焦,否则画面不清晰
    mCameraParameters.setFocusMode(Camera.Parameters.FOCUS_MODE_CONTINUOUS_PICTURE);
    mCamera.setParameters(mCameraParameters);

    //默认预览图像是镜像的,这里根据设备的方向做一个旋转
    final int orientation = getResources().getConfiguration().orientation;
    int previewCaptureRotation = 90;
    if (orientation == Configuration.ORIENTATION_LANDSCAPE) {
        previewCaptureRotation = 180;
    } else if (orientation == Configuration.ORIENTATION_PORTRAIT) {
        previewCaptureRotation = 90;
    }
    mCamera.setDisplayOrientation(previewCaptureRotation);

    try {
        mCamera.setPreviewDisplay(mHolder);
        //mCamera.setPreviewCallback(mCameraPreviewCallback);
        int bufferSize = mCameraParameters.getPreviewSize().width * mCameraParameters.getPreviewSize().height * ImageFormat.getBitsPerPixel(mCameraParameters.getPreviewFormat()) / 8;
        mCamera.addCallbackBuffer(new byte[bufferSize]);
        mCamera.setPreviewCallbackWithBuffer(mCameraPreviewCallbackWithBuffer);
        mCamera.startPreview();
    } catch (Exception e) {
        e.printStackTrace();
        System.out.println("设置相机预览异常");
    }
}

Camera.PreviewCallback mCameraPreviewCallbackWithBuffer = new Camera.PreviewCallback() {
    @Override
    public void onPreviewFrame(byte[] bytes, Camera camera) {
        mCamera.addCallbackBuffer(bytes);
    }
};

第一次执行addCallbackBuffer()函数时，里面的byte[]是创建出来的，但是这个长度怎么计算的呢？这个不是固定的，与相机预览数据的格式有关。相机预览格式我们可以设置，也可以查看。

int previewFormat = mCameraParameters.getPreviewFormat();
System.out.println("相机预览的数据格式:"+previewFormat);

//logcat
17

通过日志查看拿到的相机预览数据格式是17，也就是ImageFormat.NV21，这是Android相机默认的数据格式，当然你也可以通过API去设置预览格式，但是我不推荐你这么做，因为其他的格式预览没有这个快。

mCameraParameters.setPreviewFormat(ImageFormat.JPEG);

当数据格式是ImageFormat.NV21时，这个缓冲区域大小的计算公式是

int bufferSize = mCameraParameters.getPreviewSize().width * mCameraParameters.getPreviewSize().height * ImageFormat.getBitsPerPixel(mCameraParameters.getPreviewFormat()) / 8;

这是在网上找的，至于其他格式下怎么计算，如果用的上的时候再去找。

颈椎以上瘫痪

关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
2022-07-21 Android开发相机预览数据处理优化setPreviewCallbackWithBuffer()

背景Android开发中Camera常用的是预览或者拍照等操作，但是笔者这里业务不需要预览相机的画面，而是需要拿到相机的预览数据，转成图片，进行图像处理，所以需要得到相机的预览数据。平常情况下，我们只需要以下代码就可以得到相机预览数据：private void init() { SurfaceView mSurfaceView = findViewById(R.id.sv); ...
复制链接

扫一扫