Android _ 音视频方向进阶路线及资源合集

2401_86968162

于 2024-09-09 19:53:18 发布

阅读量1.2k

点赞数 23

文章标签： android 音视频

本文链接：https://blog.csdn.net/2401_86968162/article/details/142067619

版权

我们最开始接触的摄像拍照是通过Intent调用系统摄像头:

Intent intent=new Intent();
// 指定开启系统相机的Action
intent.setAction(MediaStore.ACTION_IMAGE_CAPTURE);
intent.addCategory(Intent.CATEGORY_DEFAULT);
// 根据文件地址创建文件
File file=new File(FILE_PATH);
// 把文件地址转换成Uri格式
Uri uri=Uri.fromFile(file);
// 设置系统相机拍摄照片完成后图片文件的存放地址
intent.putExtra(MediaStore.EXTRA_OUTPUT, uri);

我们要播放视频最原始的是基于VideoView系统控件.

但是系统相机和系统控件VideoView的局限性都是可定制型太差,系统相机的图像分辨率,视频码率以及VideoView的进度条等.

1.2 初级版本

接下来,Android开发中我们接触到最上层的两个API(Android官方提供了的么:github.com/android/med… 包含了MediaRecorder VideoPlayer等)是:

MediaRecorder 音频/视频采集对应上图蓝色部分, 参考 github.com/werbhelius/… 实现
MediaPlayer 音频/视频播放, (VideoView封装了MediaPlayer),对应上图绿色部分参考:github.com/crossle/Med… 实现

MediaRecorder示例:

mediaRecorder = new MediaRecorder(); // 创建
mediaRecorder.reset(); // 设置为空闲模式可以赋属性了
mediaRecorder.setCamera(mCamera);// 设置一个摄像头用于录制。
// 使用SurfaceView预览
mediaRecorder.setPreviewDisplay(mSurfaceHolder.getSurface());

// 1.设置采集声音
// mediaRecorder.setAudioSource(MediaRecorder.AudioSource.MIC);
// 设置采集图像
mediaRecorder.setVideoSource(MediaRecorder.VideoSource.CAMERA);
// 2.设置视频，音频的输出格式 mp4
mediaRecorder.setOutputFormat(MediaRecorder.OutputFormat.DEFAULT);
// 开始录制
mediaRecorder.prepare();
mediaRecorder.start();

MediaRecorder示例:

MediaPlayer mMediaPlayer = new MediaPlayer();
mMediaPlayer.setDataSource(mContext, mUri, mHeaders);
mMediaPlayer.setDisplay(mSurfaceHolder);
mMediaPlayer.prepareAsync();

示例代码简单介绍了一下MediaRecorder和MediaRecorder的API,参考上面提供的demo已经可以实现简单的播放器和音视频录制功能了.上面我们又引出两个接口来:Camera, Surface. 拍照等功能我们都可以使用Camera的接口实现,关于Camera的API可以参考google的demo:github.com/googlearchi… Surface我们接下来介绍.

1.3 进阶版本

上面的的MediaRecorder,MediaPlayer直接封装了图中的蓝色部分与绿色部分.它们将输入编码复用以及解码解复用输出封装到了一起,可定制性差: 1.MediaPlayer只支持固定的编码和封装,不支持rtmp等 2.MediaRecorder无法支持mp3,opus, ogg等编码,无法对采集到音视频做预处理(比如变声,美颜等)

基于上述几个原因,我们再认识几个API:

视频采集 Camera
音频采集 AudioRecorder
视频预处理:SurfaceTexture, Surface, EGL ,GLES10
音视频编码 MediaCodec MediaFormat
音视频封装(复用) MediaMuxer
音视频(解复用) MediaExtractor
音视频解码 MediaCodec
视频预览 SurfaceView, GLSurfaceView, TextureView
音频播放 AudioTrack

上述API Android也为我们提供了示例https://github.com/google/grafika,里面包含的示例相当全面:

Play video (TextureView). 基于MediaCodec ,MediaExtractor, TextureView封装的播放器,可以帮助理解这几个api.
Continuous capture. 基于Camera,GLES20,SurfaceTexture,SurfaceView,MediaCodec实现的建议的视频录制器.
Double decode. 类似于Play video示例,只是解码两路视频渲染到TextureView.
Hardware scaler exerciser. 演示OpenGL进行画面缩放
Live camera (TextureView). 演示Camera,SurfaceTexture以及TextureView使用
Multi-surface test. 演示三路视频渲染
Play video (SurfaceView). 类似于Play video (TextureView),只是输出从TextureView变成了SurfaceView.
Record GL app. 基于FBO同时将摄像头采集数据输出到编码器和屏幕,FBO是实时美颜的关键技术.
Record Screen using MediaProjectionManager.基于MediaProjectionManager将屏幕内容录制成文件.之前我们的输入都是摄像头,Android5.0开始提供了MediaProjectionManager,可以对屏幕内容进行采集.
Scheduled swap. 了解一个新伙伴Choreographer
Show + capture camera. 摄像头同时输出到文件和屏幕(与"RecordFBOActivity"输出对象变成了GLSurfaceView)
Simple Canvas in TextureView. 一般的我们把基于OpenGL的渲染称为"硬"渲染,基于Canvas的称为"软"渲染,这个示例展示了如何通过Canvas绘制到TextureView
Simple GL in TextureView. 可以理解为实现了GLThread的TextureView.
Texture from Camera. Camera->SurfaceTexture->SurfaceView
Color bars. Canvas绘制示例
OpenGL ES Info. 获取OpenGL 版本等相关信息
glTexImage2D speed test. 纹理上传示例,从图片装换为OpenGL纹理,又要认识一个新伙伴: glTexImage2D().
glReadPixels speed test. OpenGL纹转换为图片(RGBA/YUV),再认识一个新伙伴 glReadPixels()

上面的demo主要是图形相关的,编解码器观光一下官方文档:developer.android.google.cn/reference/a… 已经不能再明白了.

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

此外,想弄明白MediaCodec,还需要了解一个数据结构ByteBuffer(移步官方文档了解一下? developer.android.google.cn/reference/j…)

如果学习完这些,那么恭喜你,你已经对音视频相关知识有了一些了解了.接下来你可以试着去接触一下著名的android-gpuimage,以及了解OpenGL相关的FBO,PBO,Texture等,可以处理视频编辑,简单实现美颜等滤镜了. 推荐一些OpenGL相关文章:

第一个OpenGL程序:blog.csdn.net/fuyajun01/a…
计算机图形学网络课程:netclass.csu.edu.cn/NCourse/hep…
LearnOpenGl-CN:learnopengl-cn.readthedocs.io/zh/latest/0…
opengl-tutorial:learnopengl-cn.readthedocs.io/zh/latest/0…
OpenGl Pixel Buffer Object(PBO):www.songho.ca/opengl/gl_p…
OpenGL深入探索——缓冲区对象（*BO）:blog.csdn.net/panda1234le…
OpenGL深入探索——像素缓冲区对象（PBO）:blog.csdn.net/panda1234le…
Android 关于美颜/滤镜利用PBO从OpenGL录制视频:www.jianshu.com/p/3bc4db687…
EGL API Notes
Learn OpenGL ES:www.learnopengles.com/android-les…
OpenGL Transformation:www.songho.ca/opengl/gl_t…
glsl_tutorial:zach.in.tu-clausthal.de/teaching/cg…
GLSL ES（OpenGL ES着色器语言）_WebGL笔记9:www.ayqy.net/blog/glsl-e…
OpenGL 纹理坐标和顶点坐标映射关系详解:blog.csdn.net/xipiaoyouzi…
www.khronos.org/registry/EG… OpenGL中FrameBuffer使用:blog.csdn.net/wl_soft50/a…

1.4 高级版本

进阶版本中处理的都是Java层数据,有时候我们要编码mp3,opus等,手机硬件编码器(就是MediaCodec)不支持,我们需要引入编解码器库(lame,opus),这些库都是c/cpp实现,我们要经过jni封装,但是jni是有消耗的,那么我们可以不可以直接在c/cpp层实现采集,编码,播放呢? 当然是YES,下面我们再来了解一下jni层的API:

图像采集: 图像采集可以使用Java Camera,通过给Camera Surface,Surface再给jni的MediaCodec,也可以试试<camera/NdkCameraManager.h>
声音采集: 了解一下<SLES/OpenSLES_Android.h> , <SLES/OpenSLES.h>, opensl的文档太粗陋,给你一份Android官方demo:github.com/android/ndk…
编解码: 了解一下<media/NdkMediaCodec.h>
封装(复用)器: <media/NdkMediaMuxer.h>
解封装(解复用)器: <media/NdkMediaExtractor.h>
图像渲染: ndk-bundle/toolchains/llvm/prebuilt/darwin-x86_64/sysroot/usr/include下的EGL, GLES, GLES2, GLES3等

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传