Android互动直播APP开发入门笔记

PC采集：摄像头、mjpeg-streamer（屏幕）

前处理

视频： 美颜（磨皮：模糊处理：均值模糊、高斯模糊、中值滤波；美白：识别皮肤，调整色值）、滤镜（GPUImage开源库，实时处理运算快）、水印（时间戳、Logo版权保护、监管）

音频：混音（音频信号的线形叠加，采样值溢出的处理）、降噪（傅里叶变换：去除人耳无法识别的频率降低大小）、变声特效（音色、音调 SoundTouch音频处理开源库：变速、变色、变调）

编码和封装

YUV420SP压缩为H264，减小存储空间，减少传输时间

编码原理：去掉以下冗余

（1）空间冗余：相邻像素之间的相关性

（2）时间冗余：相邻图像之间内容相似

（3）编码冗余：像素值出现的概率不同（哈弗曼表，出现概率高的像素使用短编码；无损压缩，类似rar、zip）

（4）视觉冗余：视觉对细节的不敏感性（有损压缩）

常见的图像编码器：H264、H265、VP8、VP9

H264编码知识：

（1）NALU：网络提取层单元

（2）SPS：包括了一个图像序列的所有信息

（3）PPS：包括了一个图像所有片的信息

（4）I帧：帧内编码帧

（5）P帧：前向预测编码帧

（6）B帧：前向后向双向预测编码帧

（7）GOP（Group of Picture）：两个I帧之间的图像组，CDN缓存GOP做到直播秒开

常见的音频编码器：AAC、PCM、WAV、OGG

常见的封装格式：FLV、TS、AVI等

直播的推流与优化

推流协议：

（1）RTMP协议：CDN支持良好、协议简单容易实现、数据包封装简单；缺点：基础TCP，传输成本高、Adobe私有协议

（2）WebRTC协议：W3C标准、基于UDP；缺点：CDN支持较差

（3）UDP自定义协议：定制化空间大；缺点：开发成本高、CDN不友好

优化思路：

（1）保证音频的传输

（2）调整码率、FPS、分辨率

2.服务端：转码、录制、截图、鉴黄

---

转码目的：为了适应不同的网络带宽、不同的终端处理能力和不同的用户需求，为直播平台提供很多增值服务

录制截图：录制用于回放点播、截图用于封面

鉴黄：基于深度学习的图片识别技术，对直播流进行控制：色情、疑似色情、正常、性感

3.播放端：拉流、解码、渲染

---

常见的拉流协议：

（1）RTMP：

（2）HTTP-FLV：

（3）HLS：延迟较大

解码：编码的逆过程，从音视频的数据中提取原始数据

（1）硬解码：速度较快，适配问题

（2）软解码

渲染：视频画面的显示，声音的播放；音视频的同步

4.互动系统：聊天、礼物、点赞、连麦

---

5.直播开发的工具：

---

推流端-OBS Studio https://obsproject.com/download

（1）支持桌面和文件推流

（2）支持多画面、多音频混合推流

（3）支持录制

（4）开源

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Android工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则近万的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：Android）

学习分享

①「Android面试真题解析大全」PDF完整高清版+②「Android面试知识体系」学习思维导图压缩包

《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》，点击传送门即可获取！

mg-FCZST0mO-1711779078640)]

[外链图片转存中…(img-d3dtEG7u-1711779078641)]

《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》，点击传送门即可获取！