Android音视频开发之基础知识

最新推荐文章于 2024-07-11 17:56:12 发布

灵猫小西

最新推荐文章于 2024-07-11 17:56:12 发布

阅读量181

点赞数

分类专栏： Android 文章标签： android 音视频

本文链接：https://blog.csdn.net/qq_46269365/article/details/133499934

版权

Android 专栏收录该内容

49 篇文章 1 订阅

订阅专栏

一、视频文件

在这里插入图片描述

1、视频格式

常见格式：mp4、mkv、flv
封装的数据：音频码流、视频码流

常用工具： [FFmpeg下载]:https://ffmpeg.org/download.html
下载、安装并配置环境变量
ffmpeg.exe 视频编解码
ffplay.exe 播放器库
ffprobe.exe 音视频分析工具

2、视频播放—cmd命令

ffplay -i 视频文件目录

回车后开始播放视频
返回信息包含内部包含视频或者音频信息
默认播放Stream #0:0 视频或音频
例如下图：包含两条视频信息（显示Video），无音频信息
在这里插入图片描述
如果想播放第二条视频（Stream #0:1），可执行命令：

ffplay -i 视频目录 -vst 1

3、视频编码

视频就是连续的图像序列，不经过编码的连续图像数据数据量太大。
各种编码方式目的都是为了压缩，使体积更小，便于存储和传输，编码的核心思想就是去除冗余信息。

（1）空间冗余：图像内部相邻像素之间存在较强的相关性多造成的冗余
（2）时间冗余：视频图像序列中的不同帧之间的相关性所造成的冗余
（3）视觉冗余：人眼不能感知或者不敏感的那部分图像
（4）信息熵冗余：也称编码冗余，人们用于表达某一信息的比特数总比理论上表示该信息所需要的最少比特数要大，他们之间的差距就是信息熵冗余，或称编码冗余
熵编码例子：
11112222 8
4142 转换为4个1个2 4 省一半空间
（5）知识冗余：是指在有些图像中还包含与某些验证知识有关的信息

4、H.264码流分析

H.264码流文件分为两层
（1）VCL：视频编码层
负责高效的视频内容表示，VCL数据即编码处理的输出，表示被压缩编码后的视频数据序列。
（2）NAL：网络提取层
负责以网络所需求的恰当的方式对数据进行打包和传送，是传输层，不管在本地播放还是网络播放，都是需要这一层来传输。

VCL就是压缩编码后的原始数据。
VCL数据封装到NAL单元后，才可用于传输或存储
类比：VCL像JavaBean，NAL像Json序列化，经过包装后才能进行数据的传输

.h264文件
一般H.264编码器输出：起始码+NALU（NAL）单元
起始码为：0x00000001或者0x000001
起始码作用：区分每个单元的开头
起始码后面跟的第1个字节是NAL的Header信息，这个字节的低5位表示NALU类型。

5、片、宏块

一帧图片经过编码器之后，就被编码成一个或多个片，每片包含整数个宏块，NAL单元中就是装载着这些片的载体。

二、直播推流实践

1、图像采集

Camera
Camera2
CameraX
NDKCamera

步骤
（1）构建预览布局 SurfaceView或者TextureView，相当于画布来显示摄像头数据
（2）打开相机 Camera.open
（3）设置参数 Camera.Parameters
（4）设置预览数据回调 PreviewCallback
（5）设置预览画布并启动 setPreviewTexture/startPreview
（6）释放相机 stopPreview/release