PC采集:摄像头、mjpeg-streamer(屏幕)
前处理
视频: 美颜(磨皮:模糊处理:均值模糊、高斯模糊、中值滤波;美白:识别皮肤,调整色值)、滤镜(GPUImage开源库,实时处理运算快)、水印(时间戳、Logo版权保护、监管)
音频:混音(音频信号的线形叠加,采样值溢出的处理)、降噪(傅里叶变换:去除人耳无法识别的频率降低大小)、变声特效(音色、音调 SoundTouch音频处理开源库:变速、变色、变调)
编码和封装
YUV420SP压缩为H264,减小存储空间,减少传输时间
编码原理:去掉以下冗余
(1)空间冗余:相邻像素之间的相关性
(2)时间冗余:相邻图像之间内容相似
(3)编码冗余:像素值出现的概率不同(哈弗曼表,出现概率高的像素使用短编码;无损压缩,类似rar、zip)
(4)视觉冗余:视觉对细节的不敏感性(有损压缩)
常见的图像编码器:H264、H265、VP8、VP9
H264编码知识:
(1)NALU:网络提取层单元
(2)SPS:包括了一个图像序列的所有信息
(3)PPS:包括了一个图像所有片的信息
(4)I帧:帧内编码帧
(5)P帧:前向预测编码帧
(6)B帧:前向后向双向预测编码帧
(7)GOP(Group of Picture):两个I帧之间的图像组,CDN缓存GOP做到直播秒开
常见的音频编码器:AAC、PCM、WAV、OGG
常见的封装格式:FLV、TS、AVI等
直播的推流与优化
推流协议:
(1)RTMP协议:CDN支持良好、协议简单容易实现、数据包封装简单;缺点:基础TCP,传输成本高、Adobe私有协议
(2)WebRTC协议:W3C标准、基于UDP;缺点:CDN支持较差
(3)UDP自定义协议:定制化空间大;缺点:开发成本高、CDN不友好
优化思路:
(1)保证音频的传输
(2)调整码率、FPS、分辨率
2.服务端:转码、录制、截图、鉴黄
转码目的:为了适应不同的网络带宽、不同的终端处理能力和不同的用户需求,为直播平台提供很多增值服务
录制截图:录制用于回放点播、截图用于封面
鉴黄:基于深度学习的图片识别技术,对直播流进行控制:色情、疑似色情、正常、性感
3.播放端:拉流、解码、渲染
常见的拉流协议:
(1)RTMP:
(2)HTTP-FLV:
(3)HLS:延迟较大
解码:编码的逆过程,从音视频的数据中提取原始数据
(1)硬解码:速度较快,适配问题
(2)软解码
渲染:视频画面的显示,声音的播放;音视频的同步
4.互动系统:聊天、礼物、点赞、连麦
5.直播开发的工具:
推流端-OBS Studio https://obsproject.com/download
(1)支持桌面和文件推流
(2)支持多画面、多音频混合推流
(3)支持录制
(4)开源
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数初中级Android工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则近万的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Android移动开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Android开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
如果你觉得这些内容对你有帮助,可以扫码获取!!(资料价值较高,非无偿)
最后笔者收集整理了一份Flutter高级入门进阶资料PDF
以下是资料目录和内容部分截图
里面包括详细的知识点讲解分析,带你一个星期入门Flutter。还有130个进阶学习项目实战视频教程,让你秒变大前端。
《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》,点击传送门即可获取!
有130个进阶学习项目实战视频教程,让你秒变大前端。
[外链图片转存中…(img-rsdIZbIr-1711592487357)]