音视频流程 - 语音/短视频 :录制(编码)和播放(解码)

-- 录制小视频:
Camera -> YUV帧序列 -> YUV帧处理(镜像,缩放,旋转) -> 编码器  -> H264数据
大体上就是从摄像头输出的YUV帧经过预处理之后,送入编码器,获得编码好的h264视频流。
上面只是针对视频流的编码,另外还需要对音频流单独录制,最后再将视频流和音频流进行合成出最终视频。

 

  IM软件就需要即时通讯技术、视频软件就需要视频编解码技术、游戏就需要引擎技术。
  查看源码的工具:sourceinsight , 不了解JNI的一定要学习下,否则只能在JAVA层搞,太狭隘了。

音视频采集–压缩编码–封装–推流–分发–流媒体协议观看.

 音视频流程:视频采集→视频预处理→视频编码与封装→数据的存储/传输→视频解封装/解码→视频后处理→视频输出。
 音视频的录制、播放、编码、上传、下载、观看等

 容器格式:常见的视频容器格式有avi、mp4、mkv、flv、rm/rmvb、mov、ts、vob、dat,音频容器格式有MP3、WAV、AAC、APE,FLAC等
 压缩格式:视频压缩格式如mpeg2、mpeg4、H264、VC1、Rm/Rmvb,常见音频压缩格式如MPA、AAC、AC3、DTS。

视频编码入门概念- http://blog.csdn.net/ZSZ_shsf/article/details/79152633
1.音视频的录制MediaRecorder;

2.播放
Android使用MediaRecorder和Camera实现视频录制及播放功能整理- http://blog.csdn.net/woshizisezise/article/details/51878566
Android三种播放视频的方式:1、调用其自带的播放器;2、使用VideoView来实现;3、使用MediaPlayer

3.视频预处理
multimedia framework VitamioBundle- https://github.com/yixia/VitamioBundle
Android中可以使用MediaCodec来访问底层的媒体编解码器,可以对媒体进行编/解码。
MediaCodec可以处理的数据有以下三种类型:压缩数据、原始音频数据、原始视频数据。MediaExtractor和MediaMuxer

4.视频编码与封装
  通常来说,对于同一平台同一硬件环境,硬编硬解的速度是快于软件编解码的。而且相比软件编解码的高CPU占用率来说,硬件编解码也有很大的优势,所以在硬件支持的情况下,一般硬件编解码是我们的首选。
  在Android中,我们可以直接使用MediaRecord来进行录像,但是在很多适合MediaRecord并不能满足我们的需求,比如我们需要对录制的视频加水印或者其他处理后,所有的平台都按照同一的大小传输到服务器等
  利用AudioRecord录音,利用OpenGL渲染相机数据并做处理。然后利用MediaCodec对音频和视频分别进行编码,使用MediaMuxer将编码后的音视频进行混合保存为Mp4的编码过程。
 Android硬件编码-音视频编码以及音视频混合- http://blog.csdn.net/zhaodebbs/article/details/65630487
 MP4封装格式结构图:用EsEYE查看;用winhex分析

5.视频数据的存储/传输 (实时录制 实时传输)
android实时视频网络传输方案总结(一共有五套)- http://blog.csdn.net/xiangjai/article/details/12908671
Android 实时视频采集/编码/传输/解码/播放—方案调研(初)- https://www.cnblogs.com/skyseraph/archive/2012/03/23/2415018.html
  文件上传,断点续传
  android 选择视频文件 上传到后台服务器- http://blog.csdn.net/d276031034/article/details/52652749
  okhttp实现断点上传- https://github.com/handsometong/okhttpUpLoader
  有找到一个案例也是采用Socket作为上传方式(大文件上传,不适合使用POST,GET形式)。由于大文件夹不适合http上传的方式,所以就想能不能把大文件切割成n块小文件,然后上传这些小文件,所有小文件全部上传成功后再在服务器上进行拼接。这样不就可以实现断点上传,又解决了http不适合上传大文件的难题了吗!制定方案采用分块顺序上传,最后确定采用http协议来实现。
android Http分块顺序上传大视频

6.视频解封装/解码(播放器即解码器)
 解码流程:input file(Demuxer)> Encoded data packets(decoder)> decoded frames(Encoded)> Encoded data packets(muxer)> output file
 h.264视频。用android标准的API (MediaCodec)实现视频的硬件编解码。
 Android 用MediaCodec实现视频硬解码(转)- https://www.cnblogs.com/welhzh/p/3779616.html
 https://github.com/yixia/VitamioBundle

7.视频后处理
  视频美颜/滤镜
  是对音频处理还是对视频处理。音频是去噪音、去回音、混音???视频 加水印 美颜 ???还是对音视频容器层处理?

8.视频输出(视频下载)
 文件下载,断点下载
  视频流的传输,往往有两种协议,一种是HTTP,一种是RTSP。两种协议最大的不同是,HTTP协议,不支持实时流媒体的播放,而RTSP协议就支持。
 多线程、断点续传下载;下载管理:开始、暂停、继续、取消、重新开始
 okhttp,OkHttpManager类
  基于okhttp的文件下载、上传工具- https://github.com/Othershe/DUtil

 - 系统提供的下载管理器进行下载
//创建下载任务,downloadUrl就是下载链接
DownloadManager.Request request = new DownloadManager.Request(Uri.parse(downloadUrl));
//指定下载路径和下载文件名
request.setDestinationInExternalPublicDir("/download/", fileName);
//获取下载管理器
DownloadManager downloadManager= (DownloadManager) 
mContext.getSystemService(Context.DOWNLOAD_SERVICE);
//将下载任务加入下载队列,否则不会进行下载
downloadManager.enqueue(request);

文件下载:
URL url=new URL(urlStr);  
                HttpURLConnection conn=(HttpURLConnection)url.openConnection();  
                //取得inputStream,并进行读取  
                InputStream input=conn.getInputStream();  
                BufferedReader in=new BufferedReader(new InputStreamReader(input));  
                String line=null;  
                StringBuffer sb=new StringBuffer();  
                while((line=in.readLine())!=null){  
                    sb.append(line);  
                }

安卓通用Http文件下载管理器FileDownloader(https://github.com/wlfcolin/file-downloader)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值