Android 音视频学习：使用 Camera API 采集视频数据

最新推荐文章于 2023-11-10 15:54:41 发布
最新推荐文章于 2023-11-10 15:54:41 发布
阅读量927 收藏 1
点赞数
分类专栏： 程序员 音视频开发 编程 文章标签： android 音视频 学习 ffmpeg webrtc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/irainsa/article/details/129857550
版权
音视频开发 同时被 3 个专栏收录
492 篇文章 47 订阅
订阅专栏
程序员
489 篇文章 14 订阅
订阅专栏
编程
464 篇文章 13 订阅
订阅专栏

这篇文章的主要学习内容是：使用 Camera API 采集视频数据并保存到文件，分别使用 SurfaceView、TextureView 来预览 Camera 数据，取到 NV21 的数据回调。

Android 中预览相机画面主要用 SurfaceView 和 TextureView。

SurfaceView：SurfaceView 是一个有自己 Surface 的 View。界面渲染可以放在单独线程而不是主线程中。它更像是一个 Window，自身不能做变形和动画。

TextureView：TextureView 同样也有自己的 Surface。但是它只能在拥有硬件加速层的 Window 中绘制，它更像是一个普通 View，可以做变形和动画。

更多关于 SurfaceView 和 TextureView 的知识可以看这篇文章 Android 5.0(Lollipop)中的SurfaceTexture，TextureView, SurfaceView和GLSurfaceView[1]。

Android 5.0 之前系统提供了 Camera API ，5.0 之后提供了 Camera2 API。

不同手机厂商对 Camera2 的支持程度各不相同，即便是 Android 5.0 以上的手机，也存在对 Camera2 支持非常差的情况，这个时候就要降级使用 Camera。

官方的开源库 cameraview [2] 给出的方案：

API LevelCamera APIPreview View
9-13Camera1SurfaceView
14-20Camera1TextureView
21-23Camera2TextureView
24Camera2SurfaceView

接下来，我们使用 SurfaceView 和 TextureView 实现相机预览的功能。

1、Camera

1.1 使用 SurfaceView

SurfaceView 用于展示相机画面，SurfaceView 持有 SurfaceHolder，我们通过 SurfaceHolder 中的回调可以知道 Surface 的状态（创建、变化、销毁）。

【学习地址】：FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发

【文章福利】：免费领取更多音视频学习资料包、大厂面试题、技术视频和学习路线图，资料包括（C/C++，Linux，FFmpeg webRTC rtmp hls rtsp ffplay srs 等等）有需要的可以点击1079654574加群领取哦~

继承 SurfaceView，实现 SurfaceHolder.CallBack 接口。在 surfaceCreated 方法中打开相机预览，在 surfaceDestroyed 方法中关闭相机预览就可以了。Camera 的 open 方法有些耗时，为了避免阻塞 UI 线程，可以创建子线程打开相机。

public class CameraSurfaceView extends SurfaceView implements SurfaceHolder.Callback {
​
    private Camera mCamera;
​
    public CameraSurfaceView(Context context) {
        this(context, null);
    }
​
    public CameraSurfaceView(Context context, AttributeSet attrs) {
        this(context, attrs, 0);
    }
​
    public CameraSurfaceView(Context context, AttributeSet attrs, int defStyleAttr) {
        super(context, attrs, defStyleAttr);
        getHolder().addCallback(this);
    }
​
    @Override
    public void surfaceCreated(final SurfaceHolder holder) {
​
        ThreadHelper.getInstance().runOnHandlerThread(new Runnable() {
            @Override
            public void run() {
                openCamera();
                startPreview(holder);
            }
        });
    }
​
    @Override
    public void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {
    }
​
    @Override
    public void surfaceDestroyed(SurfaceHolder holder) {
        ThreadHelper.getInstance().runOnHandlerThread(new Runnable() {
            @Override
            public void run() {
                releaseCamera();
            }
        });
    }
​
    /**
     * 打开相机
     */
    private void openCamera() {
        int number = Camera.getNumberOfCameras();
        Camera.CameraInfo cameraInfo = new Camera.CameraInfo();
        for (int i = 0; i < number; ++i) {
            Camera.getCameraInfo(i, cameraInfo);
            if (cameraInfo.facing == Camera.CameraInfo.CAMERA_FACING_BACK) {
                // 打开后置摄像头
                mCamera = Camera.open(i);
                mCamera.setDisplayOrientation(90);
            }
        }
    }
​
    /**
     * 开始预览
     * @param holder
     */
    private void startPreview(SurfaceHolder holder) {
        if (mCamera != null) {
            mCamera.setPreviewCallback(new Camera.PreviewCallback() {
                @Override
                public void onPreviewFrame(byte[] data, Camera camera) {
                    // 取得 NV21 数据，进一步处理
                }
            });
            try {
                mCamera.setPreviewDisplay(holder);
                mCamera.startPreview();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
​
    /**
     * 关闭相机
     */
    private void releaseCamera() {
        if (mCamera != null) {
            try {
                mCamera.stopPreview();
                mCamera.setPreviewDisplay(null);
                mCamera.release();
            } catch (IOException e) {
                e.printStackTrace();
            }
            mCamera = null;
        }
    }

1.2 使用 TextureView

继承 TextureView，实现TextureView.SurfaceTextureListener。在 onSurfaceTextureAvailable 方法中打开相机预览，在onSurfaceTextureDestroyed 中关闭预览。

public class CameraTextureView extends TextureView implements TextureView.SurfaceTextureListener {
​
    private Camera mCamera;
​
    public CameraTextureView(Context context) {
        this(context, null);
    }
​
    public CameraTextureView(Context context, AttributeSet attrs) {
        this(context, attrs, 0);
    }
​
    public CameraTextureView(Context context, AttributeSet attrs, int defStyleAttr) {
        super(context, attrs, defStyleAttr);
        setSurfaceTextureListener(this);
    }
​
    @Override
    public void onSurfaceTextureAvailable(final SurfaceTexture surface, int width, int height) {
        ThreadHelper.getInstance().runOnHandlerThread(new Runnable() {
            @Override
            public void run() {
                openCamera();
                startPreview(surface);
            }
        });
    }
​
    @Override
    public void onSurfaceTextureSizeChanged(SurfaceTexture surface, int width, int height) {
​
    }
​
    @Override
    public boolean onSurfaceTextureDestroyed(SurfaceTexture surface) {
        ThreadHelper.getInstance().runOnHandlerThread(new Runnable() {
            @Override
            public void run() {
                releaseCamera();
            }
        });
        return true;
    }
​
    @Override
    public void onSurfaceTextureUpdated(SurfaceTexture surface) {
​
    }
​
    /**
     * 打开相机
     */
    private void openCamera() {
        int number = Camera.getNumberOfCameras();
        Camera.CameraInfo cameraInfo = new Camera.CameraInfo();
        for (int i = 0; i < number; ++i) {
            Camera.getCameraInfo(i, cameraInfo);
            if (cameraInfo.facing == Camera.CameraInfo.CAMERA_FACING_BACK) {
                // 打开后置摄像头
                mCamera = Camera.open(i);
                mCamera.setDisplayOrientation(90);
            }
        }
    }
​
    /**
     * 开始预览
     * @param texture
     */
    private void startPreview(SurfaceTexture texture) {
        if (mCamera != null) {
            mCamera.setPreviewCallback(new Camera.PreviewCallback() {
                @Override
                public void onPreviewFrame(byte[] data, Camera camera) {
                    // 取得 NV21 数据，进一步处理
                }
            });
            try {
                mCamera.setPreviewTexture(texture);
                mCamera.startPreview();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
​
    /**
     * 关闭相机
     */
    private void releaseCamera() {
        if (mCamera != null) {
            try {
                mCamera.stopPreview();
                mCamera.setPreviewDisplay(null);
                mCamera.release();
            } catch (IOException e) {
                e.printStackTrace();
            }
            mCamera = null;
        }
    }

2、Camera2

2.1 使用 SurfaceView

public class Camera2SurfaceView extends SurfaceView implements SurfaceHolder.Callback {
​
    private Context mContext;
    private SurfaceHolder mSurfaceHolder;
    private Handler mWorkHandler;
    private String mCameraId;
    private CameraDevice mCameraDevice;
    private ImageReader mImageReader;
    private CameraCaptureSession mCameraCaptureSession;
​
    public Camera2SurfaceView(Context context) {
        this(context, null);
    }
​
    public Camera2SurfaceView(Context context, AttributeSet attrs) {
        this(context, attrs, 0);
    }
​
    public Camera2SurfaceView(Context context, AttributeSet attrs, int defStyleAttr) {
        super(context, attrs, defStyleAttr);
        init();
    }
​
    private void init() {
        mContext = getContext();
        mSurfaceHolder = getHolder();
        mSurfaceHolder.addCallback(this);
    }
​
    @Override
    public void surfaceCreated(SurfaceHolder holder) {
        HandlerThread handlerThread = new HandlerThread("camera2");
        handlerThread.start();
        mWorkHandler = new Handler(handlerThread.getLooper());
        checkCamera();
        openCamera();
    }
​
    /**
     * 检测相机
     */
    private void checkCamera() {
        CameraManager cameraManager = (CameraManager) mContext.getSystemService(Context.CAMERA_SERVICE);
        try {
            String[] cameraIdList = cameraManager.getCameraIdList();
            for (String s : cameraIdList) {
                CameraCharacteristics characteristics = cameraManager.getCameraCharacteristics(s);
                Integer lensFacing = characteristics.get(CameraCharacteristics.LENS_FACING);
                Integer sensorOrientation = characteristics.get(CameraCharacteristics.SENSOR_ORIENTATION);
                Integer supportedHardwareLevel = characteristics.get(CameraCharacteristics.INFO_SUPPORTED_HARDWARE_LEVEL);
                if (lensFacing != null && lensFacing == CameraCharacteristics.LENS_FACING_BACK) {
                    mCameraId = s;
                    break;
                }
            }
        } catch (CameraAccessException e) {
            e.printStackTrace();
        }
​
    }
​
    /**
     * 打开相机
     */
    private void openCamera() {
        if (ActivityCompat.checkSelfPermission(mContext, Manifest.permission.CAMERA) != PackageManager.PERMISSION_GRANTED) {
            return;
        }
​
        if (mCameraId == null) {
            return;
        }
​
        CameraManager cameraManager = (CameraManager) mContext.getSystemService(Context.CAMERA_SERVICE);
        try {
            cameraManager.openCamera(mCameraId, new CameraDevice.StateCallback() {
                @Override
                public void onOpened(CameraDevice camera) {
                    mCameraDevice = camera;
                    mImageReader = ImageReader.newInstance(getWidth(), getHeight(), ImageFormat.YUV_420_888, 8);
                    mImageReader.setOnImageAvailableListener(new ImageReader.OnImageAvailableListener() {
                        @Override
                        public void onImageAvailable(ImageReader reader) {
                            Image image = reader.acquireLatestImage();
                            //我们可以将这帧数据转成字节数组，类似于Camera1的PreviewCallback回调的预览帧数据
                            //ByteBuffer buffer = image.getPlanes()[0].getBuffer();
                            //byte[] data = new byte[buffer.remaining()];
                            //buffer.get(data);
                            image.close();
                        }
                    }, mWorkHandler);
​
                    createCameraPreview();
                }
​
                @Override
                public void onDisconnected(CameraDevice camera) {
                    camera.close();
                    mCameraDevice = null;
                }
​
                @Override
                public void onClosed(CameraDevice camera) {
                    super.onClosed(camera);
                }
​
                @Override
                public void onError(CameraDevice camera, int error) {
                    camera.close();
                    mCameraDevice = null;
                }
            }, mWorkHandler);
        } catch (CameraAccessException e) {
            e.printStackTrace();
        }
    }
​
    /**
     * 相机预览
     */
    private void createCameraPreview() {
        try {
            final CaptureRequest.Builder captureRequestBuilder = mCameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW);
            Surface surface = mSurfaceHolder.getSurface();
            captureRequestBuilder.addTarget(surface);
            Surface imageReaderSurface = mImageReader.getSurface();
            captureRequestBuilder.addTarget(imageReaderSurface);
            captureRequestBuilder.set(CaptureRequest.CONTROL_MODE, CaptureRequest.CONTROL_MODE_AUTO);
            mCameraDevice.createCaptureSession(Arrays.asList(surface, imageReaderSurface), new CameraCaptureSession.StateCallback() {
                @Override
                public void onConfigured(@NonNull CameraCaptureSession session) {
                    mCameraCaptureSession = session;
                    CaptureRequest captureRequest = captureRequestBuilder.build();
                    try {
                        session.setRepeatingRequest(captureRequest, null, null);
                    } catch (CameraAccessException e) {
                    }
                }
​
                @Override
                public void onConfigureFailed(@NonNull CameraCaptureSession session) {
                }
            }, mWorkHandler);
        } catch (Exception e) {
        }
    }
​
    @Override
    public void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {
​
    }
​
    @Override
    public void surfaceDestroyed(SurfaceHolder holder) {
        closeCameraPreview();
        if (mCameraDevice != null) {
            mCameraDevice.close();
        }
        if (mImageReader != null) {
            mImageReader.close();
        }
        mWorkHandler.getLooper().quitSafely();
    }
​
    private void closeCameraPreview() {
        if (mCameraCaptureSession != null) {
            try {
                mCameraCaptureSession.stopRepeating();
                mCameraCaptureSession.abortCaptures();
                mCameraCaptureSession.close();
            } catch (Exception e) {
            }
            mCameraCaptureSession = null;
        }
    }

2.2 使用 TextureView

TextureView 与 SurfaceView 类似，这里就不贴代码了。

具体源码放在 GitHub 上：AndroidMultiMediaLearning[3]

以上只是 Camera 和 Camera2 的简单使用，更多细节可以查看官方 API。

3、引用

Android平台Camera开发实践指南[4]

4、参考资料

1cameraview: GitHub - google/cameraview: [DEPRECATED] Easily integrate Camera features into your Android app[3]AndroidMultiMediaLearning: GitHub - zywudev/AndroidMultiMediaLearning: Android 音视频学习[4]Android平台Camera开发实践指南: Android平台Camera开发实践指南 - 掘金

原文资料：Android 音视频学习：使用 Camera API 采集视频数据

【零声教育】音视频开发进阶
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Android Camera2采集摄像头原始数据
08-28
主要介绍了Android Camera2采集摄像头原始数据并进行手工预览的功能实现原理以及代码分析，需要的朋友学习下吧。
Android 音视频开发第3弹 - CameraX 图像视频采集
最新发布
yinshipin007的博客
11-17 162
CameraX 是一个用于 Android 相机开发的 Jetpack 组件，它简化了相机功能的实现过程，并提供了一套一致的 API 接口，支持搭载 Android 5.0 及以上的设备，确保各设备间的一致性，支持大多数常见的相机用例，例如预览，图片拍摄，图片分析，视频拍摄等。添加依赖这些权限需要动态申请的，这里不再赘述。
Android Camera2 Demo - 实现相机预览、拍照、录制视频功能
06-28
因为工作中要使用 Android Camera2 API 来实现相机功能，但因为Camera2比较复杂，网上资料也比较乱，有一定入门门槛，所以花了几天时间系统研究了下，这个项目就是我研究的成果。 其中包括一个自己写的Camera2的Demo，支持预览、拍照和视频录制，以及若干个网上找的，具有参考价值的Camera2 Demo。 具体看我的博客 : https://blog.csdn.net/EthanCo/article/details/131371887 https://blog.csdn.net/EthanCo/article/details/131414981 https://blog.csdn.net/EthanCo/article/details/131418829
Android音视频之视频采集（系统API预览）
01-20
我们了解了视频相关的基础知识，后面的文章我们要能够和音频一样可以采集我们的视频，视频是一帧一帧的图片来的，我们首先要学习预览视频，然后采集一帧图片，采集视频从简到难的来了解这个问题。首先第一个反应打开Google搜索和Android视频采集相关的东西，我们要知道如何通过API来采集，不由自主地到了Android官网的Camera API。Android有两个视频采集的API，Camera是Android 5.0以前使用的，现在已经废弃了，我们还是得学一下他的使用，Camera2是最新的视频采集API，我们重点了解它的使用。这篇文章我们掌握调用系统的拍照和录制视频API来实现拍照录像功能。 Ca
Android音视频采集
05-28
测试demo， 使用Camera1和AudioRecord采集的音视频，编码成ACC和H264。使用MediaMuxer合成MP4，中间也将AudioRecord采集的pcm音频转成G711音频文件保存到SD卡中，也保存了H264编码文件。
Android音视频(一) Camera2 API采集数据
yinshipin007的博客
11-10 559
这是Android音视频的第一篇文章，终于回到了我的老本行上。之前好像从来没有做过Camera相关的开发，这块对我来说还是有点陌生，所以从头开始学起。
android camera采集、H264编码与Rtmp推流
irainsa的博客
02-23 1382
以上就是H264编码的核心代码了，填充AVFrame，再完成编码，AVFrame data中存储的是编码前的数据，经编码后AVPacket data中存储的是压缩编码后的数据，再通过 RtmpStreamer::SendFrame()将编码后的数据发送出去。这样就完成了编码与推流的整个流程，那么是如何完成编码的?
NDK Android平台camera2采集视频
u010140427的博客
02-05 3072
在Android平台开发实时音视频项目，摄像头的采集是一个必不可少的流程；通常在Android平台上采集摄像头数据可以使用Camera1接口、Camera2接口或者CameraX接口。Camera1接口只支持java语言的接口，是Android最开始支持的相机接口，在Android 5.0 以后逐步废弃；Camera2是替代Camera1的接口，不仅支持java语言的接口也支持c/c++的接口；CameraX 是一个 Jetpack 库，Camera2使用比较复杂，CameraX对Camera2的API 进
android 手机采集摄像头视频 socket 视频传输 实时传播
热门推荐
a289973483的博客
10-11 1万+
一、具体流程：1.通过客户端socket请求，服务端接受到请求后，获取socket的输出流对象outs。2.服务端通过Camera的setPreviewCallback方法回调采集摄像头视频数据，将一张张图片数据数据压缩，发送到客户端，因为是图片，需要在图片开头加个标记，然后指定数据长度发送。3.客户端接收数据，根据数据开头标记，以及数据的长度，接收数据，按一张张图片的形式，采用handle...
Android流媒体开发之路一：Camera2采集摄像头数据并手动预览
irainsa的博客
04-03 2274
最近研究了一下android摄像头开发相关的技术，也看了Google提供的Camera2Basic调用示例，以及网上一部分代码，但都是在TextureView等预览基础上实现，而我想要做的是在不预览的情况下，能获取到摄像头原始数据流，并由自己来决定是否绘制显示。经过一番折腾，初步实现了自己的目的——程序。
AndroidCamera:使用Camera 1 API的Android相机示例
05-17
Android使用内置摄像头应用程序集成了摄像头功能。
android-camera2-sample-app:使用camera2 API的Android相机应用
05-02
基于Camera2-API的Camera-App 使用camera2 API的Android相机应用#MIT许可证版权所有（c）2017＃Vishal Kumar 特此免费授予获得此软件和相关文档文件（“软件”）副本的任何人无限制地处理软件的权利，包括但不限于...
android音视频.zip
09-11
在 Android 平台使用 Camera API 进行视频的采集，分别使用 SurfaceView、TextureView 来预览 Camera 数据，取到 NV21 的数据回调 4.学习 Android 平台的 MediaExtractor 和 MediaMuxer API，知道如何解析和封装 mp4...
Android CameraX Demo : 实现预览/拍照/录制视频/图片分析/对焦/切换摄像头等操作
07-04
我自己写的Android CameraX Demo，实现了预览/拍照/录制视频/图片分析/对焦/切换摄像头等操作。 具体详见我的博客 : https://blog.csdn.net/EthanCo/article/details/125603671
Android平台点对点音视频对讲源码.zip
03-18
1. Android Camera2 API 采集预览视频 2. MediaCodec 进行硬编码，编码成h264视频文件 3. AudioRecord采集音频PCM数据，同样利用MediaCodec编码成AAC数据 4. jrtplib库进行视频音频数据发送，本项目修改jrtplib库，...
CameraRecorder:Android 使用 Android Camera API 完成音视频的采集、编码、封包成 mp4 输出
05-02
CameraRecorderAndroid 使用 Android Camera API 完成音视频的采集、编码、封包成 mp4 输出
androidCamera2Sample:Android Camera2 API 示例代码
06-04
androidCamera2Sample Android Camera2 API 示例代码。 见
Android多媒体功能开发-使用Camera2框架拍照的例子
11-16
Android应用使用Camera2框架拍照的例子代码。
android-CameraRecorder:Android从摄像头录制视频
05-18
android-CameraRecorder Android摄像头相关 模块说明 appcamera 摄像头录制视频App
aidl::android::hardware::camera::device::camerametadata类是干嘛的
04-26
aidl::android::hardware::camera::device::camerametadata类是用于表示相机的元数据，包括图像分辨率、色彩空间、曝光时间、焦距、ISO和白平衡等信息。这些元数据可以帮助相机应用程序进行自动曝光、对焦、颜色校正和其他优化操作。此类是通过Android的Camera2 API引入的。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值