Android互动直播APP开发入门笔记，android系统移植和驱动开发

YUV420SP压缩为H264，减小存储空间，减少传输时间

编码原理：去掉以下冗余

（1）空间冗余：相邻像素之间的相关性

（2）时间冗余：相邻图像之间内容相似

（3）编码冗余：像素值出现的概率不同（哈弗曼表，出现概率高的像素使用短编码；无损压缩，类似rar、zip）

（4）视觉冗余：视觉对细节的不敏感性（有损压缩）

常见的图像编码器：H264、H265、VP8、VP9

H264编码知识：

（1）NALU：网络提取层单元

（2）SPS：包括了一个图像序列的所有信息

（3）PPS：包括了一个图像所有片的信息

（4）I帧：帧内编码帧

（5）P帧：前向预测编码帧

（6）B帧：前向后向双向预测编码帧

（7）GOP（Group of Picture）：两个I帧之间的图像组，CDN缓存GOP做到直播秒开

常见的音频编码器：AAC、PCM、WAV、OGG

常见的封装格式：FLV、TS、AVI等

直播的推流与优化

推流协议：

（1）RTMP协议：CDN支持良好、协议简单容易实现、数据包封装简单；缺点：基础TCP，传输成本高、Adobe私有协议

（2）WebRTC协议：W3C标准、基于UDP；缺点：CDN支持较差

（3）UDP自定义协议：定制化空间大；缺点：开发成本高、CDN不友好

优化思路：

（1）保证音频的传输

（2）调整码率、FPS、分辨率

2.服务端：转码、录制、截图、鉴黄

---

转码目的：为了适应不同的

《Android学习笔记总结+最新移动架构视频+大厂安卓面试真题+项目实战源码讲义》

【docs.qq.com/doc/DSkNLaERkbnFoS0ZF】 完整内容开源分享

网络带宽、不同的终端处理能力和不同的用户需求，为直播平台提供很多增值服务

录制截图：录制用于回放点播、截图用于封面

鉴黄：基于深度学习的图片识别技术，对直播流进行控制：色情、疑似色情、正常、性感

3.播放端：拉流、解码、渲染

---

常见的拉流协议：

（1）RTMP：

（2）HTTP-FLV：

（3）HLS：延迟较大

解码：编码的逆过程，从音视频的数据中提取原始数据

（1）硬解码：速度较快，适配问题

（2）软解码

渲染：视频画面的显示，声音的播放；音视频的同步

4.互动系统：聊天、礼物、点赞、连麦

---

5.直播开发的工具：

---

推流端-OBS Studio https://obsproject.com/download

（1）支持桌面和文件推流

（2）支持多画面、多音频混合推流

（3）支持录制

（4）开源

服务器：一般使用Nginx搭建的RTMP

播放端：CUTV测试工具 http://www.cutv.com/demo/live_test.swf

（1）流信息展示丰富

（2）可设置缓冲时间

（3）网页版

其他辅助工具

（1）Softe AAC Converter：转化为AAC音频

（2）H264BSAnalyzer：分析H264视频格式

（3）FlvParse：分析FLV文件

（4）YUVPlayer：播放YUV文件

直播SDK

---

阿里云：