Android音视频开发（一）之基础知识

最新推荐文章于 2024-05-14 01:07:39 发布
最新推荐文章于 2024-05-14 01:07:39 发布
阅读量2.4k 收藏 7
点赞数
分类专栏： Android技术文章 文章标签： android
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21830869/article/details/107732238
版权

一、视频录制

视频录制有两种方式：

  1. 调用系统相机录制
    在Android中调用系统相机，通过Intent设置系统相机的Action，然后startActivity就可以启动。但这种方式在实际开发中通常不能很好满足业务需要，比如我要指定一下录制视频的码率、分辨率、预览画面的大小和视频画面的尺寸等。

  2. 自定义相机录制

    自定义相机开发过程相对复杂，使用Android SDK提供的Camera和Mediarecorder类来完成，单纯使用Mediarecorder也能直接进行录制，但通常是前置方式来实现。相机相关的API，Google已经出过几种了，Camera类已经废弃了，在高Android系统版本中不建议使用，目前最新的是Camera2和jetpack架构支持的CameraX。

二、预览和录制方向

2.1 传感器方向

对于手机摄像头来说，器传感器有个天然的画面捕获方向，获取的预览画面帧或捕获的照片视频方向是固定的。传感器方向后置相机默认90，前置相机默认270。

以后置相机为例，其传感器坐标系示意图2-1如下
后置相机传感器坐标
而屏幕坐标系，众所周知如图2-2
屏幕坐标系

那么，打开相机预览画面或进行拍照、录制的时候，必然涉及到一个方向的转换，否则会导致获取的照片视频方向是颠倒的。

1）后置相机

还是以后置相机为例，如果竖屏拍摄的话，那么最终呈现在屏幕上的效果如图2-3所示。
在这里插入图片描述

可以发现，图像时横放的，所以在预览和拍照录像时，需要对其方向做相应设置，旋转90，确保预览和拍摄录制时，所见即所得。而在横屏预览（自然方向270°）的情况下，由于传感器方向和屏幕坐标系重合，所以无需特殊处理。图2-4

在这里插入图片描述

2）前置相机
同理，对于前置相机来说，也会存在画面的颠倒，但同时由于前置相机的画面是镜像的（镜面对称），所以在旋转时，注意旋转角度的计算。图2-5
在这里插入图片描述

2.2 自然方向

自然方向就是指手机是竖向还是横向，自然方向只有4种，分别是0，90，180，270。图2-6
在这里插入图片描述

2.3 预览方向

当打开相机后就可以开始进行预览，如果手机自然方向为0（即以自拍方式握持手机），而且使用的后置相机，在没有任何方向设置情况下，会发现图像横置。这是因为预览画面是展示的传感器捕获的图片帧，而传感器捕获方向是横向，预览画面也就是横向了。图2-7

在这里插入图片描述

所以需要进行方向变换，Android SDK的Camera类提供了setDisplayOrientation方法来设置预览方向，根据当前手机自然方向和使用的前后置相机来进行画面旋转角度计算。

前置相机的传感器方向是270，所以我们需要旋转270度才能在竖屏预览时保证画面也是竖向，但是前置相机是镜面对称成像，其实最终也只需要旋转90度即可，示意图如下。图2-8

在这里插入图片描述

综上，在竖屏预览的情况下，对于前置和后置相机来说直接旋转90度即可。

Google给出了计算预览画面旋转角度的示例方法。

private void setCameraDisplayOrientation(int cameraId) {
        Camera.CameraInfo info = new Camera.CameraInfo();
        Camera.getCameraInfo(cameraId, info);
        int deviceOrientation = this.getWindowManager().getDefaultDisplay().getRotation();
        int degree = 0;

        switch (deviceOrientation) {
            case Surface.ROTATION_0:
                degree = 0;
                break;
            case Surface.ROTATION_90:
                degree = 90;
                break;
            case Surface.ROTATION_180:
                degree = 180;
                break;
            case Surface.ROTATION_270:
                degree = 270;
                break;
        }
        if (info.facing == Camera.CameraInfo.CAMERA_FACING_FRONT){
            mDisplayOrientation = (info.orientation + degree) % 360;
            mDisplayOrientation = (360 - mDisplayOrientation) % 360;
        }else {
            mDisplayOrientation = (info.orientation - degree + 360) % 360;
        }
        if (mCamera != null){
            mCamera.setDisplayOrientation(mDisplayOrientation);
        }
    }

2.4 拍照和录制方向

使用Camera API进行拍照和录像是时，最终保存的图像或视频是直接由相机传感器采集然后存储到手机，所以为了保证在打开时图片或视频是预览时展现的方向，需要在保存时对图片或视频进行旋转。在旋转视频时Android Camera提供了setOrientationHint方法。

注意：该方法并不是将每帧画面进行旋转，而是在生成的视频文件头部添加一个旋转参数。视频播放器根据这个参数来旋转播放，有的播放器可能会忽略该参数（例如Windows media player），所以该方法不能完全保证播放时画面方向正确。下图是通过ffpmeg查看视频文件获取的参数信息。
在这里插入图片描述
拍照时，通过需要旋转的角度，使用一个旋转矩阵，去调整图片方向。

2.4.1 录像方向

相机自然方向预览方向旋转角度计算旋转角度
后置相机00此时，只用考虑传感器方向，只用旋转90度（见图2-1），即可保证录制的视频内容和预览画面一致90
后置900在横屏情况下，通过注册传感器方向监听来判断自然方向是90还是270。对于自然方向90°的情况，需要旋转180°。180
后置1800需要旋转270°270
后置2700这种情况，传感器方向和画面预览方向重合，无需旋转或旋转0°0

2.4.2 拍照方向

只要确定了照片需要旋转的角度，通过一个旋转矩阵对拍照获取的照片进行旋转。照片旋转角度可以通过前文去判断。

......		
  public Bitmap rotatePicture(Bitmap bitmap, int degree){
  	......
		// 根据旋转角度，生成旋转矩阵
    Matrix matrix = new Matrix();
    matrix.postRotate(degree);
    // 将原始图片按照旋转矩阵进行旋转，并得到新的图片
    mBitmap = Bitmap.createBitmap(bitmap, 0, 0, bitmap.getWidth(), bitmap.getHeight(), matrix, true);
  	......
    return mBitmap
}
......

旋转矩阵方式耗时比较长，图片较大时不适用。这时可以通过ExifInterface对其旋转。简单介绍一下Exif（Exchangeable image file format 可交换图像文件），是附加在图片文件中的，记录数码照片的属性信息和拍摄数据的信息，包括分辨率、光圈、曝光补偿、闪光灯等等信息。ExifInterface就是Android提供的读写图片文件exif信息的API。

...... 
	ExifInterface exifInterface = new ExifInterface(path);
  // 修正图片的旋转角度，设置其不旋转。这里也可以设置其旋转的角度，可以传值过去，
 // 例如旋转90度，传值ExifInterface.ORIENTATION_ROTATE_90，需要将这个值转换为String类型的
 exifInterface.setAttribute(ExifInterface.TAG_ORIENTATION, String.valueOf(degreee))
 exifInterface.saveAttributes();
......

注意：这种方法一定要在保存完图片之后再使用，否则不会生效。

三、预览画面尺寸

在开启相机进行预览时，要提前设置一些参数（Camera.Parameters），其中就包括了预览画面的尺寸参数（宽高）。调用setPreviewSize(width， height)设置预览画面宽高时，一定不能随意指定，如果手机不支持会报错并且应用崩溃。一般是要去获取手机支持的预览尺寸。Camera.Parameters提供了getSupportedPreviewSizes方法用以获取系统支持的预览画面尺寸，开发时可以设置一个预期的画面宽度，然后设置一个宽高比。如果系统支持所设定的尺寸则可以直接使用，如果没有支持，则选择最接近的尺寸来预览。例如，华为P10 Plus支持的预览尺寸如下。

2020-08-01 15:11:36.023 18021-18021/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 1920, height = 1080
2020-08-01 15:11:36.023 18021-18021/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 1440, height = 1080
2020-08-01 15:11:36.024 18021-18021/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 1536, height = 864
2020-08-01 15:11:36.024 18021-18021/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 1280, height = 960
2020-08-01 15:11:36.024 18021-18021/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 1280, height = 720
2020-08-01 15:11:36.024 18021-18021/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 960, height = 720
2020-08-01 15:11:36.024 18021-18021/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 960, height = 540
2020-08-01 15:11:36.024 18021-18021/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 720, height = 720
2020-08-01 15:11:36.024 18021-18021/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 720, height = 540
2020-08-01 15:11:36.024 18021-18021/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 640, height = 480
2020-08-01 15:11:36.024 18021-18021/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 640, height = 360
2020-08-01 15:11:36.024 18021-18021/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 736, height = 412
2020-08-01 15:11:36.024 18021-18021/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 544, height = 408
2020-08-01 15:11:36.024 18021-18021/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 480, height = 360
2020-08-01 15:11:36.024 18021-18021/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 400, height = 400
2020-08-01 15:11:36.024 18021-18021/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 352, height = 288
2020-08-01 15:11:36.024 18021-18021/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 320, height = 240
2020-08-01 15:11:36.024 18021-18021/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 208, height = 144
2020-08-01 15:11:36.024 18021-18021/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 176, height = 144

注意，这里宽度比高度数值大，是因为是计算的手机横向时的宽高比。比例选择一般可以参考使用4：3和16：9等。

四、照片尺寸和视频分辨率

对于最后获取的照片和视频尺寸也需要设置尺寸大小，同样对于视频尺寸，也需要设置视频文件大小，实测华为P10 Plus支持的预览尺寸如下。

2020-08-01 15:20:17.586 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 3840, height = 2160
2020-08-01 15:20:17.586 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 3264, height = 1840
2020-08-01 15:20:17.586 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 2592, height = 1952
2020-08-01 15:20:17.586 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 2048, height = 1536
2020-08-01 15:20:17.587 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 1920, height = 1080
2020-08-01 15:20:17.587 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 1440, height = 1080
2020-08-01 15:20:17.587 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 1536, height = 864
2020-08-01 15:20:17.587 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 1280, height = 960
2020-08-01 15:20:17.587 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 1280, height = 720
2020-08-01 15:20:17.587 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 960, height = 720
2020-08-01 15:20:17.587 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 960, height = 540
2020-08-01 15:20:17.587 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 720, height = 720
2020-08-01 15:20:17.587 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 720, height = 540
2020-08-01 15:20:17.587 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 640, height = 480
2020-08-01 15:20:17.587 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 640, height = 360
2020-08-01 15:20:17.587 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 736, height = 412
2020-08-01 15:20:17.587 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 544, height = 408
2020-08-01 15:20:17.587 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 480, height = 360
2020-08-01 15:20:17.587 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 400, height = 400
2020-08-01 15:20:17.587 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 352, height = 288
2020-08-01 15:20:17.587 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 320, height = 240
2020-08-01 15:20:17.587 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 208, height = 144
2020-08-01 15:20:17.587 22124-22124/com.sankuai.meituan.dispatch.crowdsource D/xxx: width = 176, height = 144

五、总结

本文主要是介绍了音视频开发的一些基础先导知识，在进行预览、拍照、录制等功能开发时所必要的基本概念。主要介绍了

  • 视频录制的主要方式，调用系统相机或自定义相机

  • 重点说明了在自定义相机开发中的所涉及的各种「方向」的概念，包括预览画面方向、照片方向和视频方向，对前后置相机传感器方向坐标进行了讲解，不同的手机自然方向和前后置相机类型需要计算对应的旋转角度并进行旋转处理。

  • 介绍了预览画面尺寸和视频储存的尺寸，需要从系统支持的分辨率尺寸中获取，而不能任意指定。

参考资料

Camera 开发实战(一)——预览尺寸的选取与旋转角度的设定
Android Camera-相机尺寸、方向和图像数据
Android 拍摄 录制

Aaron大宝剑
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Android 音视频入门/进阶教程
夏至的稻穗的博客
12-29 2865
作为安卓开发仔，对音视频这块，一直是比较感兴趣的，所以，本着学习和记录的态度，我也把我所学的知识记录起来，希望对想音视频感兴趣的小伙伴有所帮忙。
Android开发音视频方向学习路线及资源分享，学完还怕什么互联网寒冬？
03-16 922
以下是资料目录和内容部分截图里面包括详细的知识点讲解分析，带你一个星期入门Flutter。还有130个进阶学习项目实战视频教程，让你秒变大前端。学不会来打我！utter高级入门进阶资料PDF以下是资料目录和内容部分截图[外链图片转存中…(img-PZ5nvPKI-1710567448631)][外链图片转存中…(img-hiVCkD9m-1710567448632)]里面包括详细的知识点讲解分析，带你一个星期入门Flutter。还有130个进阶学习项目实战视频教程，让你秒变大前端。
2024年Android最全Android音视频开发（1）：H264 基本原理，Android面试项目难点
最新发布
2401_84563561的博客
05-14 801
在这里我和身边一些朋友特意整理了一份快速进阶为Android高级工程师的系统且全面的学习资料。涵盖了Android初级——Android高级架构师进阶必备的一些学习技能。附上：我们之前因为秋招收集的二十套一二线互联网公司Android面试真题（含BAT、小米、华为、美团、滴滴）和我自己整理Android复习笔记（包含Android基础知识点、Android扩展知识点、Android源码解析、设计模式汇总、Gradle知识点、常见算法题汇总。
Android 开发 MediaRecorder视频录制入门
zsy_2020的博客
04-06 1455
MediaRecorder是Android SDK提供用于录制音视频,关于音频的录制在我另一篇博客里已经介绍.传送门:,而这篇博客将介绍MediaRecorder视频录制的入门和一些MediaRecorder视频录制的深坑.为什么只介绍简单的录制视频的入门操作,因为MediaRecorder在实际开发的时候肯定还需要配合Camera来使用.而Camera这个大坑又有Camera1和Camera2,所以我们需要分篇幅来介绍Camera1和Camera2与MediaRecorder的使用方式.
Android音视频开发详解
热门推荐
ywl5320的专栏
05-16 1万+
概要： 1、课程从FFmpeg编译、Android Studio创建C++项目、Java调用C++、C++调用Java、C++多线程和线程锁、C++队列、OpenSL ES集成、FFmpeg多线程解码音频文件、获取PCM数据、播放PCM数据等都做了比较细致的讲解，OpenGL ES渲染软解码YUV数据，OpenGL ES渲染MediaCodec硬解码视频等，是系统学习FFmpeg...
Android音视频开发与处理.pdf
11-14
Android音视频开发与处理，包括音视频基础知识和安卓音视频应用开发
Android音视频开发学习思路(2)1
08-04
在Android平台上进行音视频...总之，Android音视频开发的学习需要从基础的图像显示开始，逐步深入到音频和视频的捕获、处理和播放。每一步都需要扎实的理论知识和实践操作，只有这样，才能在音视频开发领域游刃有余。
音视频开发进阶指南之学习.zip
06-05
1. **音频与视频基础知识**：学习音视频开发首先需要了解音频和视频的基本概念，如采样率、位深度、帧率等。音频方面会涉及波形、频率、振幅等基本物理属性；视频则会讲解像素、分辨率、色彩空间等概念。 2. **编码...
深入探索Android音视频编解码技术
03-05
提供了全面的Android音视频编解码技术指南。内容涵盖了Android音频视频的基本概念、支持的格式、内建音频播放器的使用，以及多媒体系统的结构和层次。深入探讨了OpenCore的核心概念、代码结构，以及文件格式处理和编...
音视频开发进阶指南
01-23
三、Android音视频开发 1. MediaPlayer：Android平台的基础播放器，支持多种音视频格式的播放。 2. MediaRecorder：用于音频和视频的录制，可以设置各种录制参数。 3. Surface和OpenGL ES：通过Surface进行视频渲染...
Android音频详解.pdf
11-28
这个文档是我整理别人博客的，写的非常的不错，通俗易懂，相对来说还是比较全面，讲了linux下的声卡，Android音频 ， AudioPolicyService， AudioFlinger， AudioTrack这些都有详细的讲解，然后我也做了书签，方便查阅。
Android音视频开发入门（1）基础概要，Android教程
2401_84006989的博客
04-01 1013
最后这里放上我这段时间复习的资料，这个资料也是偶然一位朋友分享给我的，里面包含了腾讯、字节跳动、阿里、百度2020-2021面试真题解析，并且把每个技术点整理成了视频和PDF（知识脉络 + 诸多细节）。还有高级架构技术进阶脑图、高级进阶架构资料帮助大家学习提升进阶，这里我也免费分享给大家也节省大家在网上搜索资料的时间来学习，也可以分享给身边好友一起学习。一起互勉~还有高级架构技术进阶脑图、高级进阶架构资料。
Android 视频开发相关
NewStart的专栏
12-08 547
1.开源视频播放器 2.视频开发相关帖子 3.视频开发相关功能
MediaRecorder setOrientationHint
weixin_33716941的博客
06-03 1696
为什么80%的码农都做不了架构师？>>> ...
Android音视频开发-基础知识点
jiang19921002的博客
03-28 2477
从去年寒冬但现在纷纷有大厂爆出人员结构调整、末尾淘汰等等，近期身边想换工作的朋友同事都在抱怨面试要求高找工作难，想必大家都知道这是互联网的一次洗牌，资本寒冬只能导致优胜劣汰。在这个变脸的春天我们能做的只有不断的学习、不断的学习！ 目前安卓开发能走的两条路---大前端和底层框架ndk，我选择了后者，最近也一直在学习音视频开发，学习应该做到有输入有输出，我习惯于用博客巩固学过的知识。本...
Android 音视频 基础知识
初心一点的专栏
04-26 365
Android 音视频 基础知识视频相关专业术语视频帧(Frame)帧速率(FPS)转码视频编码视频解码采样频率比特率(码率)RGB(颜色空间)YUV(颜色空间)YCbCr(也是一种颜色空间) 视频相关专业术语 视频 连续的图象变化每秒超过24帧（Frame）画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面，看上去是平滑连续的视觉效果，这样连续的画面叫做视频 帧(Frame) 是影像中常用...
音视频开发 ● Android 音视频开发总结
qq_29877851的博客
05-07 625
关于视频中的黑屏、花屏、绿屏问题 我们在做音视频开发的时候难免会遇到一些很棘手的问题，但是我们只要找准问题出现的阶段，定位问题的根源就会轻松很多。 前几天我看了一篇总结这些问题的文章，写的很好，根据自己遇到的问题，我又总结了一下。 首先我们要知道（端对端）视频处理的整个过程，我们才能更体面的分析。 上图就是（端对端处理的整个过程）。 我们对这类问题的分析，应该是一个端到端逐步排 查的流程。每一个环节都可能引发黑屏、花屏、绿 屏问题的产生，这也是我们准确分析问题所面临的挑战。 角色分析： 视频采集： 如果
安卓开发之视频播放器
Ahacker_L的博客
06-25 5405
首先送各位有缘看到这篇文章的朋友们一句话：努力，总会有收获！ 下面开始正题： 视频播放器，谷歌提供了布局控件和api。 布局控件的名字叫做VideoView，该控件也有自己的类，实例化一个该控件对象后，调用findviewbyid方法拿到引用，即可调用该控件的setVideoPath方法设置播放视频的路径，该路径包括本地路径和网上的路径，设置完路径后调用start方法开始播放。我们播放视频的...
Android音视频开发入门到高级进阶
12-07
总结起来，Android音视频开发是一个全面的学习资源，从入门到高级，涵盖了C语言的基本知识和高级音视频的基础内容。通过学习，我们可以了解鉴别C语言和C++语言的主要区别，掌握面向对象程序设计的概念和实现技术，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值