音视频流程 - 语音/短视频：录制（编码）和播放（解码）

最新推荐文章于 2024-05-11 21:18:17 发布

desaco

最新推荐文章于 2024-05-11 21:18:17 发布

阅读量3.7k

点赞数

分类专栏：音视频方案

本文链接：https://blog.csdn.net/ShareUs/article/details/53572971

版权

音视频方案专栏收录该内容

71 篇文章 11 订阅

订阅专栏

-- 录制小视频：
Camera -> YUV帧序列 -> YUV帧处理（镜像，缩放，旋转） -> 编码器 -> H264数据
大体上就是从摄像头输出的YUV帧经过预处理之后，送入编码器，获得编码好的h264视频流。
上面只是针对视频流的编码，另外还需要对音频流单独录制，最后再将视频流和音频流进行合成出最终视频。

IM软件就需要即时通讯技术、视频软件就需要视频编解码技术、游戏就需要引擎技术。
查看源码的工具：sourceinsight , 不了解JNI的一定要学习下，否则只能在JAVA层搞，太狭隘了。

音视频采集–压缩编码–封装–推流–分发–流媒体协议观看.

音视频流程：视频采集→视频预处理→视频编码与封装→数据的存储/传输→视频解封装/解码→视频后处理→视频输出。
音视频的录制、播放、编码、上传、下载、观看等

容器格式：常见的视频容器格式有avi、mp4、mkv、flv、rm/rmvb、mov、ts、vob、dat，音频容器格式有MP3、WAV、AAC、APE，FLAC等
压缩格式：视频压缩格式如mpeg2、mpeg4、H264、VC1、Rm/Rmvb，常见音频压缩格式如MPA、AAC、AC3、DTS。

视频编码入门概念- http://blog.csdn.net/ZSZ_shsf/article/details/79152633
1.音视频的录制MediaRecorder；

2.播放
Android使用MediaRecorder和Camera实现视频录制及播放功能整理- http://blog.csdn.net/woshizisezise/article/details/51878566
Android三种播放视频的方式：1、调用其自带的播放器；2、使用VideoView来实现；3、使用MediaPlayer

3.视频预处理
multimedia framework VitamioBundle- https://github.com/yixia/VitamioBundle
Android中可以使用MediaCodec来访问底层的媒体编解码器，可以对媒体进行编/解码。
MediaCodec可以处理的数据有以下三种类型：压缩数据、原始音频数据、原始视频数据。MediaExtractor和MediaMuxer

4.视频编码与封装
通常来说，对于同一平台同一硬件环境，硬编硬解的速度是快于软件编解码的。而且相比软件编解码的高CPU占用率来说，硬件编解码也有很大的优势，所以在硬件支持的情况下，一般硬件编解码是我们的首选。
在Android中，我们可以直接使用MediaRecord来进行录像，但是在很多适合MediaRecord并不能满足我们的需求，比如我们需要对录制的视频加水印或者其他处理后，所有的平台都按照同一的大小传输到服务器等
利用AudioRecord录音，利用OpenGL渲染相机数据并做处理。然后利用MediaCodec对音频和视频分别进行编码，使用MediaMuxer将编码后的音视频进行混合保存为Mp4的编码过程。
Android硬件编码－音视频编码以及音视频混合- http://blog.csdn.net/zhaodebbs/article/details/65630487
MP4封装格式结构图：用EsEYE查看；用winhex分析

5.视频数据的存储/传输（实时录制实时传输）
android实时视频网络传输方案总结（一共有五套）- http://blog.csdn.net/xiangjai/article/details/12908671
Android 实时视频采集/编码/传输/解码/播放—方案调研（初）- https://www.cnblogs.com/skyseraph/archive/2012/03/23/2415018.html
文件上传，断点续传
android 选择视频文件上传到后台服务器- http://blog.csdn.net/d276031034/article/details/52652749
okhttp实现断点上传- https://github.com/handsometong/okhttpUpLoader
有找到一个案例也是采用Socket作为上传方式（大文件上传，不适合使用POST,GET形式）。由于大文件夹不适合http上传的方式，所以就想能不能把大文件切割成n块小文件，然后上传这些小文件，所有小文件全部上传成功后再在服务器上进行拼接。这样不就可以实现断点上传，又解决了http不适合上传大文件的难题了吗！制定方案采用分块顺序上传，最后确定采用http协议来实现。
android Http分块顺序上传大视频

6.视频解封装/解码（播放器即解码器）
解码流程：input file(Demuxer)> Encoded data packets(decoder)> decoded frames(Encoded)> Encoded data packets(muxer)> output file
h.264视频。用android标准的API （MediaCodec）实现视频的硬件编解码。
Android 用MediaCodec实现视频硬解码(转)- https://www.cnblogs.com/welhzh/p/3779616.html
https://github.com/yixia/VitamioBundle

7.视频后处理
视频美颜/滤镜
是对音频处理还是对视频处理。音频是去噪音、去回音、混音？？？视频加水印美颜？？？还是对音视频容器层处理？

8.视频输出(视频下载)
文件下载，断点下载
视频流的传输，往往有两种协议，一种是HTTP，一种是RTSP。两种协议最大的不同是，HTTP协议，不支持实时流媒体的播放，而RTSP协议就支持。
多线程、断点续传下载；下载管理：开始、暂停、继续、取消、重新开始
okhttp，OkHttpManager类
基于okhttp的文件下载、上传工具- https://github.com/Othershe/DUtil

- 系统提供的下载管理器进行下载
//创建下载任务,downloadUrl就是下载链接
DownloadManager.Request request = new DownloadManager.Request(Uri.parse(downloadUrl));
//指定下载路径和下载文件名
request.setDestinationInExternalPublicDir("/download/", fileName);
//获取下载管理器
DownloadManager downloadManager= (DownloadManager)
mContext.getSystemService(Context.DOWNLOAD_SERVICE);
//将下载任务加入下载队列，否则不会进行下载
downloadManager.enqueue(request);

文件下载：
URL url=new URL(urlStr);
HttpURLConnection conn=(HttpURLConnection)url.openConnection();
//取得inputStream，并进行读取
InputStream input=conn.getInputStream();
BufferedReader in=new BufferedReader(new InputStreamReader(input));
String line=null;
StringBuffer sb=new StringBuffer();
while((line=in.readLine())!=null){
sb.append(line);
}

安卓通用Http文件下载管理器FileDownloader（https://github.com/wlfcolin/file-downloader）