Android Video系列一——Camera视频流采集

最新推荐文章于 2024-05-30 14:05:42 发布

今人不见古时月,今月曾经照古人

最新推荐文章于 2024-05-30 14:05:42 发布

阅读量1.3k

点赞数

分类专栏： Android 文章标签： android 视频处理

原文链接：https://www.jianshu.com/p/d7a4e2fcfce2

版权

Android 专栏收录该内容

436 篇文章 19 订阅

订阅专栏

一、相机相关参数

1.相机id

根据指定的相机id打开相机。

 //Camera.CameraInfo.CAMERA_FACING_BACK,Camera.CameraInfo.CAMERA_FACING_FRONT
int mCameraId = Camera.CameraInfo.*CAMERA_FACING_FRONT*;  
mCamera = Camera.*open*(mCameraId);

相机id对应着Camera.CameraInfo的facing字段。

Camera.CameraInfo cameraInfo = new Camera.CameraInfo(); 
 for (int i = 0; i < Camera.*getNumberOfCameras*(); i++) {  
    Camera.*getCameraInfo*(i, cameraInfo);      
    Log.*d*(*TAG*, "getCameraInstance: camera facing=" + cameraInfo.facing + ",camera orientation=" + cameraInfo.orientation);  
}

2.图像格式

可以通过Camera.Parameters.getSupportedPreviewFormats()获取支持的图像格式列表，通过Camera.Parameters.setPreviewFormat(pixel_format)来设置图像格式。

List<Integer> supportedPreviewFormats = parameters.getSupportedPreviewFormats();  
parameters.setPreviewFormat(ImageFormat.NV21);

默认格式为NV21，建议选择的颜色格式为NV21和YV12，这两个是所有机型均支持的。
NV21: YYYYYYYY VU VU => YUV420SP
YV12: YYYYYYYY VV UU => YUV420P
二者均为 YUV 4:2:0采样，即每四个Y共用一组UV分量。其大小为 width * heigh * 3/2 byte。

3.大小（宽度、高度）

大小包括预览尺寸（PreviewSize）和图像尺寸（PictureSize），最好选择一致。
可以通过Camera.Parameters.getSupportedPreviewSizes()获取手机支持的Size列表，选择所需要的大小。通过Camera.Parameters.setPreviewSize和setPictureSize设置大小。

List<Camera.Size> mapSizes = parameters.getSupportedPreviewSizes();
parameters.setPreviewSize(mImageSize.width, mImageSize.height);
parameters.setPictureSize(mImageSize.width, mImageSize.height);

一般是根据期望的范围，选择一个合适的大小。

    private Camera.Size getPreferredPreviewSize(Camera.Parameters parameters, int width, int height) {

        List<Camera.Size> mapSizes = parameters.getSupportedPreviewSizes();
        List<Camera.Size> collectorSizes = new ArrayList<>();
        for (Camera.Size option : mapSizes) {
            Log.i(TAG, " option.width=" + option.width + " option.height=" + option.height);
            if (width > height) {
                if (option.width >= width && option.height >= height) {
                    collectorSizes.add(option);
                }
            } else {
                if (option.width >= height && option.height >= width) {
                    collectorSizes.add(option);
                }
            }
        }
        if (collectorSizes.size() > 0) {
            return Collections.min(collectorSizes, new Comparator<Camera.Size>() {
                @Override
                public int compare(Camera.Size lhs, Camera.Size rhs) {
                    return Long.signum(lhs.width * lhs.height - rhs.width * rhs.height);
                }
            });
        }
        return mapSizes.get(0);
    }

4.角度

相机录制的图像数据，需要经过旋转甚至翻转后才会正常显示。
旋转的角度，可以通过Camera.CameraInfo.orientation获取。
此外，还要考虑两个因素，一是屏幕的角度，可以通过WindowManager.getDefaultDisplay().getRotation()获取；二是对于前摄，还要再水平翻转下，不过，底层相机输送到Surface中的数据，已经是水平翻转过的。
所以，对于预览显示，只需要Camera.Parameters.setDisplayOrientation(degrees)设置需要旋转的角度即可。

mCamera.setDisplayOrientation(degrees);  //顺时针旋转角度

如何计算需要旋转的角度呢？

    public int getCameraDisplayOrientation(Activity activity, int cameraId) {

        int rotation = activity.getWindowManager().getDefaultDisplay().getRotation();
        int degrees = 0;  //屏幕角度
        switch (rotation) {
            case Surface.ROTATION_0:
                degrees = 0;
                break;
            case Surface.ROTATION_90:
                degrees = 90;
                break;
            case Surface.ROTATION_180:
                degrees = 180;
                break;
            case Surface.ROTATION_270:
                degrees = 270;
                break;
        }

        Camera.CameraInfo info = new Camera.CameraInfo();
        Camera.getCameraInfo(cameraId, info);  //info.orientation  在正常屏幕上需要旋转的相机角度
        int result;  //最终需要的相机旋转角度
        if (info.facing == Camera.CameraInfo.CAMERA_FACING_FRONT) {
            // 前置摄像头作镜像翻转
            result = (info.orientation + degrees) % 360;
            result = (360 - result) % 360;  // compensate the mirror
        } else {  // back-facing
            result = (info.orientation - degrees + 360) % 360;
        }

        Log.i(TAG, " initCamera: rotationDegrees=" + result + " CameraOrientation=" + info.orientation + " DisplayDegrees=" + degrees);
        return result;
    }

5. 帧率

设置的帧率，只是一个目标帧率值，具体的帧率取决于驱动。

parameters.setPreviewFrameRate(20);

不过，Android不推荐set固定帧率，而是推荐设置一个帧率范围。需要留意的是，调用setPreviewFpsRange设置的最大值和最小值，除以1000后才是帧率值。

parameters.setPreviewFpsRange(7000, 30000);

帧率范围的最大值和最小值，不是自己随便写的，而是通过Camera.Parameters.getSupportedPreviewFpsRange() 来获取。

二、视频流采集

1.初始化好呈现视频流的控件（如果不需要呈现，就不必走该步骤）

SurfaceView、TextureView。推荐后者。
通过surfaceTextureListener来拿到回调结果。

    TextureView.setSurfaceTextureListener(surfaceTextureListener);
    SurfaceTextureListener surfaceTextureListener = new SurfaceTextureListener() {
        @Override
        public void onSurfaceTextureAvailable(SurfaceTexture surface, int width, int height) {
            Log.i(TAG, " onSurfaceTextureAvailable width=" + width + " height=" + height);
            VideoCapture.this.surface = surface;
            mCameraId = Camera.CameraInfo.CAMERA_FACING_FRONT;
            initCamera(surface, mCameraId);
        }
        @Override
        public void onSurfaceTextureSizeChanged(SurfaceTexture surface, int width, int height) {
            Log.i(TAG, " onSurfaceTextureSizeChanged width=" + width + " height=" + height);
            autoFocusCamera();
        }
        @Override
        public boolean onSurfaceTextureDestroyed(SurfaceTexture surface) {
            Log.i(TAG, " onSurfaceTextureDestroyed");
            destroyCamera();
            return false;
        }
        @Override
        public void onSurfaceTextureUpdated(SurfaceTexture surface) {
            Log.i(TAG, " onSurfaceTextureUpdated");
        }
    };

2.初始化相机

根据相机id打开相机。
设置预览尺寸、图像尺寸、预览格式、自动对焦等。
设置预览Surface、旋转角度、相机回调。

    int width = Constant.DEFAULT_VIDEO_WIDTH, height = Constant.DEFAULT_VIDEO_HEIGHT;  //1920*1080  640*360  720*480
    mCameraId = Camera.CameraInfo.CAMERA_FACING_BACK; 
    mCamera = Camera.open(mCameraId);
    Camera.Parameters parameters = mCamera.getParameters();
    mImageSize = getPreferredPreviewSize(parameters, width, height);
    Log.i(TAG, " initCamera: surface width==" + mImageSize.width + ",height==" + mImageSize.height);
    parameters.setPreviewFpsRange(7000, 30000);
    parameters.setPreviewSize(mImageSize.width, mImageSize.height);  //设置预览尺寸onPreviewFrame的尺寸
    parameters.setPictureSize(mImageSize.width, mImageSize.height);  //设置拍照输出图片尺寸
    parameters.setPreviewFormat(ImageFormat.NV21);
    parameters.setFocusMode(Camera.Parameters.FOCUS_MODE_CONTINUOUS_PICTURE);//设置自动对焦
    mCamera.setParameters(parameters);
    mCamera.setPreviewCallback(cameraPreviewCallback);
    mCamera.setPreviewTexture(surface);  //设置显示图像的TextureView
    mCamera.setDisplayOrientation(getCameraDisplayOrientation((Activity) mContext, mCameraId));  //设置展示图像的旋转角度

3.开始扫描

调用startPreview开始扫描。

mCamera.startPreview();

4.在相机预览回调中拿到数据

初始化相机的时候，已经设置了相机预览回调cameraPreviewCallback。

private Camera.PreviewCallback cameraPreviewCallback =new Camera.PreviewCallback() {      
    @Override      
    public void onPreviewFrame(byte[] data, Camera camera) {          
        // data数组即为视频流数据      
    }  
};

三、视频流数据的处理

前文已经提到，视频流数据需要旋转甚至翻转才能够正常显示。通过调用setDisplayOrientation就可以直接输送到Surface上显示了。如果我们自己处理呢？

1.后摄，旋转

以我的小米5s为例，竖屏放置。可以得出：
rotationDegrees=90 CameraOrientation=90 DisplayDegrees=0
即最终需要旋转的角度为90度。

    /**
     * 顺时针旋转90度
     * Y数据：yuv[i] = data[y * imageWidth + x]
     * UV数据：
     * 需求：后置镜头，数据需要顺时针旋转90度才显示正常。
     * 备注：这里的宽和高，都是原始影像中的宽和高。
     */
    private byte[] rotateYUV420Degree90(byte[] data, int imageWidth, int imageHeight) {

        byte[] yuv = new byte[imageWidth * imageHeight * 3 / 2];
        // Rotate the Y luma
        int i = 0;
        for (int x = 0; x < imageWidth; x++) {
            for (int y = imageHeight - 1; y >= 0; y--) {
                yuv[i] = data[y * imageWidth + x];
                i++;
            }
        }
        // Rotate the U and V color components
        i = imageWidth * imageHeight * 3 / 2 - 1;
        for (int x = imageWidth - 1; x > 0; x = x - 2) {
            for (int y = 0; y < imageHeight / 2; y++) {
                yuv[i] = data[(imageWidth * imageHeight) + (y * imageWidth) + x];
                i--;
                yuv[i] = data[(imageWidth * imageHeight) + (y * imageWidth) + (x - 1)];
                i--;
            }
        }
        return yuv;
    }

2.前摄，旋转+水平翻转

在Surface上显示时，是旋转底层系统已经水平翻转过的数据。旋转角度即为前文计算的角度。
我们自己处理，是按照正规的顺序，先旋转，再水平翻转。这两个旋转角度是不一样的，我的小米5s手机，竖屏显示，自己旋转的角度是270度，即CameraOrientation给出的角度。

    /**
     * 顺时针旋转270度 + 水平镜像翻转
     * Y数据：
     * UV数据：
     * 需求：前置镜头，数据需要顺时针旋转270度，再水平镜像翻转才显示正常。
     * 备注：这里的宽和高，都是原始影像中的宽和高。
     */
    private byte[] rotateYUVDegree270AndMirror(byte[] data, int imageWidth, int imageHeight) {

        byte[] yuv = new byte[imageWidth * imageHeight * 3 / 2];
        // Rotate and mirror the Y luma
        int i = 0;
        int maxY = 0;
        for (int x = imageWidth - 1; x >= 0; x--) {
            maxY = imageWidth * (imageHeight - 1) + x * 2;
            for (int y = 0; y < imageHeight; y++) {
                yuv[i] = data[maxY - (y * imageWidth + x)];
                i++;
            }
        }
        // Rotate and mirror the U and V color components
        int uvSize = imageWidth * imageHeight;
        i = uvSize;
        int maxUV = 0;
        for (int x = imageWidth - 1; x > 0; x = x - 2) {
            maxUV = imageWidth * (imageHeight / 2 - 1) + x * 2 + uvSize;
            for (int y = 0; y < imageHeight / 2; y++) {
                yuv[i] = data[maxUV - 2 - (y * imageWidth + x - 1)];
                i++;
                yuv[i] = data[maxUV - (y * imageWidth + x)];
                i++;
            }
        }
        return yuv;
    }

3.格式转换

预览数据格式为NV21，如果用于编码的话，编码格式指定MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible，需要先将数据转换为NV12。

转换方法如下：

    /**
     * 将NV21格式数据转换为NV12格式数据
     * NV12与NV21类似，U 和 V 交错排列,不同在于UV顺序。
     * NV12: YYYYYYYY UVUV =>YUV420SP
     * NV21: YYYYYYYY VUVU =>YUV420SP
     */
    private void NV21ToNV12(byte[] nv21, byte[] nv12, int width, int height) {

        if (nv21 == null || nv12 == null) return;
        int framesize = width * height;
        int i = 0, j = 0;
        System.arraycopy(nv21, 0, nv12, 0, framesize);
        for (i = 0; i < framesize; i++) {
            nv12[i] = nv21[i];
        }
        for (j = 0; j < framesize / 2; j += 2) {
            nv12[framesize + j - 1] = nv21[j + framesize];
        }
        for (j = 0; j < framesize / 2; j += 2) {
            nv12[framesize + j] = nv21[j + framesize - 1];
        }
    }

四、图解视频流数据的旋转与翻转

前文讲到了视频流数据的旋转与翻转，为便于理解，画图说明。
我用的手机为小米5s，将Activity写死为竖屏。

先亮图：

camera数据旋转与翻转.png

对于后摄，前文已经提到：
rotationDegrees=90 CameraOrientation=90 DisplayDegrees=0
坐标系1就是呈现给用户的坐标，坐标系2是Camera录制视频流的坐标。
看图就容易明白了，旋转90度才是正常的显示。不做旋转的话，呈现出来的图像就如坐标系2所示，可以调试看看效果。

再看前摄，前文也提到：
rotationDegrees=270 CameraOrientation=90 DisplayDegrees=0
坐标系1同样是呈现给用户的坐标，而坐标系3是Camera录制视频流的坐标。
看图，容易明白，先将坐标系2旋转270度到坐标系4，而后再水平翻转到坐标系1。

顺便说一下，为什么前摄，setDisplayOrientation的角度也是90度，因为底层相机输送到Surface中的数据，已经是水平翻转过的，也就是已经水平翻转到坐标系2了，解下来只需再旋转90度即可。

转载于：https://www.jianshu.com/p/d7a4e2fcfce2

今人不见古时月,今月曾经照古人

关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
Android Video系列一——Camera视频流采集

一、相机相关参数1.相机id根据指定的相机id打开相机。 //Camera.CameraInfo.CAMERA_FACING_BACK,Camera.CameraInfo.CAMERA_FACING_FRONTint mCameraId = Camera.CameraInfo.*CAMERA_FACING_FRONT*; mCamera = Camera.*open*(mCameraId);相机id对应着Camera.CameraInfo的facing字段。Cam..
复制链接

扫一扫