今年移动直播行业的兴起,诞生了一大批网红,甚至明星也开始直播了,因此不得不跟上时代的步伐,教你从零开始搭建一个完整的iOS直播app,希望能帮助到更多的人更快的了解直播。
了解直播
-
热门直播产品:映客,斗鱼,熊猫,虎牙,花椒等等
-
一个完整直播app功能
1、聊天
私聊、聊天室、点亮、推送、黑名单等;
2、礼物
普通礼物、豪华礼物、红包、排行榜、第三方充值、内购、礼物动态更新、提现等;
3、直播列表
关注、热门、最新、分类直播用户列表等;
4、自己直播
录制、推流、解码、播放、美颜、心跳、后台切换、主播对管理员操作、管理员对用户等;
5、房间逻辑
创建房间、进入房间、退出房间、关闭房间、切换房间、房间管理员设置、房间用户列表等;
6、用户逻辑
普通登陆、第三方登陆、注册、搜索、修改个人信息、关注列表、粉丝列表、忘记密码、查看个人信息、收入榜、关注和取关、检索等;
7、观看直播
聊天信息、滚屏弹幕、礼物显示、加载界面等;
8、统计
APP业务统计、第三方统计等;
9、超管
禁播、隐藏、审核等;
-
一个完整直播app原理
直播原理:把主播录制的视频,推送到服务器,在由服务器分发给观众观看。
直播环节:推流端(采集、美颜处理、编码、推流)、服务端处理(转码、录制、截图、鉴黄)、播放器(拉流、解码、渲染)、互动系统(聊天室、礼物系统、赞)
-
一个完整直播app实现流程
1.采集、2.滤镜处理、3.编码、4.推流、5.CDN分发、6.拉流、7.解码、8.播放、9.聊天互动
-
一个完整直播app架构
-
一个完整直播app技术点
END
了解流媒体(直播需要用到流媒体)
-
流媒体开发:网络层(socket或st)负责传输,协议层(rtmp或hls)负责网络打包,封装层(flv、ts)负责编解码数据的封装,编码层(h.264和aac)负责图像,音频压缩。
-
帧:每帧代表一幅静止的图像
-
GOP:(Group of Pictures)画面组,一个GOP就是一组连续的画面,每个画面都是一帧,一个GOP就是很多帧的集合
-
码率:图片进行压缩后每秒显示的数据量。
-
帧率:每秒显示的图片数。影响画面流畅度,与画面流畅度成正比:帧率越大,画面越流畅;帧率越小,画面越有跳动感。
由于人类眼睛的特殊生理结构,如果所看画面之帧率高于16的时候,就会 认为是连贯的,此现象称之为视觉暂留。并且当帧速达到一定数值后,再 增长的话,人眼也不容易察觉到有明显的流畅度提升了。
-
分辨率:(矩形)图片的长度和宽度,即图片的尺寸
-
压缩前的每秒数据量:帧率X分辨率(单位应该是若干个字节)
-
压缩比:压缩前的每秒数据量/码率 (对于同一个视频源并采用同一种视频编码算法,则:压缩比越高,画面质量越差。)
-
视频文件格式:文件的后缀,比如.wmv,.mov,.mp4,.mp3,.avi,
主要用处,根据文件格式,系统会自动判断用什么软件打开,注意: 随意修改文件格式,对文件的本身不会造成太大的影响,比如把avi改成mp4,文件还是avi.
-
视频封装格式:一种储存视频信息的容器,流式封装可以有TS、FLV等,索引式的封装有MP4,MOV,AVI等,
主要作用:一个视频文件往往会包含图像和音频,还有一些配置信息(如图像和音频的关联,如何解码它们等):这些内容需要按照一定的规则组织、封装起来.
注意:会发现封装格式跟文件格式一样,因为一般视频文件格式的后缀名即采用相应的视频封装格式的名称,所以视频文件格式就是视频封装格式。
-
视频封装格式和视频压缩编码标准:就好像项目工程和编程语言,封装格式就是一个项目的工程,视频编码方式就是编程语言,一个项目工程可以用不同语言开发。
END
直播基础知识介绍
-
1.采集视频、音频
1.1 采集视频、音频编码框架
AVFoundation:AVFoundation是用来播放和创建实时的视听媒体数据的框架,同时提供Objective-C接口来操作这些视听数据,比如编辑,旋转,重编码
* 1.2 视频、音频硬件设备 *
CCD:图像传感器: 用于图像采集和处理的过程,把图像转换成电信号。
拾音器:声音传感器: 用于声音采集和处理的过程,把声音转换成电信号。
音频采样数据:一般都是PCM格式
视频采样数据: 一般都是YUV,或RGB格式,采集到的原始音视频的体积是非常大的,需要经过压缩技术处理来提高传输效率
-
2.视频处理(美颜,水印)
视频处理原理:因为视频最终也是通过GPU,一帧一帧渲染到屏幕上的,所以我们可以利用OpenGL ES,对视频帧进行各种加工,从而视频各种不同的效果,就好像一个水龙头流出的水,经过若干节管道,然后流向不同的目标
现在的各种美颜和视频添加特效的app都是利用GPUImage这个框架实现的,.
-
3.视频编码解码
视频编码框架
FFmpeg:是一个跨平台的开源视频框架,能实现如视频编码,解码,转码,串流,播放等丰富的功能。其支持的视频格式以及播放协议非常丰富,几乎包含了所有音视频编解码、封装格式以及播放协议。
视频编码技术
视频压缩编码标准:对视频进行压缩(视频编码)或者解压缩(视频解码)的编码技术,比如MPEG,H.264,这些视频编码技术是压缩编码视频的
音频编码技术
AAC,mp3:这些属于音频编码技术,压缩音频用
码率控制
多码率:观众所处的网络情况是非常复杂的,有可能是WiFi,有可能4G、3G、甚至2G,那么怎么满足多方需求呢?多搞几条线路,根据当前网络环境自定义码率。
视频封装格式
TS : 一种流媒体封装格式,流媒体封装有一个好处,就是不需要加载索引再播放,大大减少了首次载入的延迟,如果片子比较长,mp4文件的索引相当大,影响用户体验
-
4.推流
-
5.流媒体服务器
-
6.拉流
直播协议选择:
即时性要求较高或有互动需求的可以采用RTMP,RTSP
对于有回放或跨平台需求的,推荐使用HLS
直播协议对比 :
-
7.解码
7.1 解封装
demuxing(分离):从视频流、音频流,字幕流合成的文件(容器格式(FLV,TS))中, 分解出视频、音频或字幕,各自进行解码。
*7.2 音频编码框架
fdk_aac:音频编码解码框架,PCM音频数据和AAC音频数据互转
*7.3 解码介绍
硬解码:用GPU来解码,减少CPU运算
优点:播放流畅、低功耗,解码速度快,* 缺点:兼容不好
软解码:用CPU来解码
优点:兼容好* 缺点:加大CPU负担,耗电增加、没有硬解码流畅,解码速度相对慢
-
8.播放
-
9.聊天互动
END
如何快速的开发一个完整的iOS直播app
-
1、利用第三方直播SDK快速的开发
七牛云:七牛直播云是专为直播平台打造的全球化直播流服务和一站式实现SDK端到端直播场景的企业级直播云服务平台.熊猫TV,龙珠TV等直播平台都是用的七牛云
-
2、第三方SDK公司为什么要提供SDK给我们?
希望把我们的产品和它绑在一条船上,更加的依赖它。
技术生钱,帮养一大批牛B的程序员
-
3、直播功能:自研还是使用第三方直播SDK开发?
第三方SDK开发: 对于一个初创团队来讲,自研直播不管在技术门槛、CDN、带宽上都是有很大的门槛的,而且需要耗费大量的时间才能做出成品,不利于拉投资。
自研:公司直播平台大,从长远看,自研可以节省成本,技术成面比直接用SDK可控多了。
-
4.第三方SDK好处
降低成本
使用好的第三方企业服务,将不用再花高价请猎头去挖昂贵的大牛,也不用去安抚大牛们个性化的脾气
提升效率
第三方服务的专注与代码集成所带来的方便,所花费的时间可能仅仅是1-2个小时,节约近99%的时间,足够换取更多的时间去和竞争对手斗智斗勇,增加更大的成功可能性
降低风险
借助专业的第三方服务,由于它的快速、专业、稳定等特点,能够极大地加强产品的竞争能力(优质服务、研发速度等),缩短试错时间,必将是创业中保命的手段之一
专业的事,找专业的人来做
第三方服务最少是10-20人的团队专注地解决同一个问题,做同一件事情。第三方服务所带来的支持效果,绝不是通过1-2个人处理所能对比的,难道不是吗