经过4年时间的直播项目洗礼,针对行业的轮廓进行简单探讨,以期待相对全面的理解相关技术。
产品例子,IPTV:Internet Protocol Television,交互式网络电视
交互方式:将加密的视频以IP单播或组播的方式,发送给终端设备,通过DRM(Digital Rights Management数字版权管理)授权或密钥服务端,向终端传送授权或密钥,使终端能够解密视频,进行播放。
视频流程:
1、录播推流:设置视频大小、视频源、音视频码率(越高越清晰)、视频帧率(手机GPU每秒能处理的视频图片数量)、视频镜像、数据流回调等参数,控制摄像头、权限申请、贴纸管理等业务,接入Agora声网API,将流推到远程服务端,客户端通过播放器拉取流信息,并进行视频大小适配等,展示直播场景。
2、视频传输:通过RTMP(Real Time Message Protocol ,TCP传输,效率低有延时但质量高,可以直接在网页端使用,需要CDN)或RTSP(Real Time Streaming Protocol,UDP传输-亦可使用TCP拉流,效率高但会丢数据,适合监控,局域网内传输;双通道,一个发播放停止等信令,一个发视频数据)或RTC(Real Time Communication,UDP协议,低延时无卡顿,成本高),解压格式(mkv、rmvb、flv等),将视频(H.264)和音频(AAC)解码成(RGB/YUV)和声音(PCM-Pusle Code Modulation,需要本设备解码,区别于RAW无须解码、直接播放),根据时间戳顺序播放。
3、视频处理:视频编解码、视频分发(支持CDN)、视频切片(支持切割成小段,分到不同引擎)、DHCP(Dynamic Host Configuration Protocol动态主机配置协议,作用:客户端登录时自动获取IP和子网掩码)、组播、SAN
4、视频编解码:应用H.264的编解码标准。优势:1、比H.263和MPEG-4节约50%的码率;2、支持IP包,方便分组传播;3、具备较强的抗误码特性,适应丢包率高、干扰严重的无线传输;4、支持不同网络质量的分级编码传播,可以获得稳定的图片质量。
5、视频存储:SAN(Storage Area Network),集中共享存储,方便进行统一防护和恢复,可用以太网(Ethernet局域网技术,区别于广域网Internet)和光纤通道,Nas只能用以太网,前者重视高性能、低延迟,后者重视易用性、拓展性和更低成本。
问题1:如何将RTMP或RTSP等协议的视频转换成MP4?可以接收H.264视频数据和ACC音频数据,将它们合并形成MP4文件。
问题2:如