基于安卓平台，客户端视频监控的实现（一）

RTSP、 RTMP、HTTP的共同点、区别

共同点：

1：RTSP RTMP HTTP都是在应用应用层。

2： 理论上RTSP RTMPHTTP都可以做直播和点播，但一般做直播用RTSP RTMP，做点播用HTTP。做视频会议的时候原来用SIP协议，现在基本上被RTMP协议取代了。

区别：

1：HTTP: 即超文本传送协议(ftp即文件传输协议)。

HTTP:（Real Time Streaming Protocol），实时流传输协议。

HTTP全称Routing Table Maintenance Protocol（路由选择表维护协议）。

2：HTTP将所有的数据作为文件做处理。http协议不是流媒体协议。

RTMP和RTSP协议是流媒体协议。

3：RTMP协议是Adobe的私有协议,未完全公开，RTSP协议和HTTP协议是共有协议，并有专门机构做维护。

4：RTMP协议一般传输的是flv，f4v格式流，RTSP协议一般传输的是ts,mp4格式的流。HTTP没有特定的流。

5：RTSP传输一般需要2-3个通道，命令和数据通道分离，HTTP和RTMP一般在TCP一个通道上传输命令和数据。

RTSP、RTCP、RTP区别

1：RTSP实时流协议

作为一个应用层协议，RTSP提供了一个可供扩展的框架，它的意义在于使得实时流媒体数据的受控和点播变得可能。总的说来，RTSP是一个流媒体表示 协议，主要用来控制具有实时特性的数据发送，但它本身并不传输数据，而是必须依赖于下层传输协议所提供的某些服务。RTSP可以对流媒体提供诸如播放、暂 停、快进等操作，它负责定义具体的控制消息、操作方法、状态码等，此外还描述了与RTP间的交互操作（RFC2326）。

2：RTCP控制协议

RTCP控制协议需要与RTP数据协议一起配合使用，当应用程序启动一个RTP会话时将同时占用两个端口，分别供RTP和RTCP使用。RTP本身并 不能为按序传输数据包提供可靠的保证，也不提供流量控制和拥塞控制，这些都由RTCP来负责完成。通常RTCP会采用与RTP相同的分发机制，向会话中的 所有成员周期性地发送控制信息，应用程序通过接收这些数据，从中获取会话参与者的相关资料，以及网络状况、分组丢失概率等反馈信息，从而能够对服务质量进 行控制或者对网络状况进行诊断。

RTCP协议的功能是通过不同的RTCP数据报来实现的，主要有如下几种类型：

SR：发送端报告，所谓发送端是指发出RTP数据报的应用程序或者终端，发送端同时也可以是接收端。(SERVER定时间发送给CLIENT)。

RR：接收端报告，所谓接收端是指仅接收但不发送RTP数据报的应用程序或者终端。(SERVER接收CLIENT端发送过来的响应)。

SDES：源描述，主要功能是作为会话成员有关标识信息的载体，如用户名、邮件地址、电话号码等，此外还具有向会话成员传达会话控制信息的功能。

BYE：通知离开，主要功能是指示某一个或者几个源不再有效，即通知会话中的其他成员自己将退出会话。

APP：由应用程序自己定义，解决了RTCP的扩展性问题，并且为协议的实现者提供了很大的灵活性。

3：RTP数据协议

RTP数据协议负责对流媒体数据进行封包并实现媒体流的实时传输，每一个RTP数据报都由头部（Header）和负载（Payload）两个部分组成，其中头部前12个字节的含义是固定的，而负载则可以是音频或者视频数据。

RTP用到的地方就是 PLAY ，服务器往客户端传输数据用UDP协议，RTP是在传输数据的前面加了个12字节的头(描述信息)。

RTP载荷封装设计本文的网络传输是基于IP协议，所以最大传输单元(MTU)最大为1500字节，在使用IP／UDP／RTP的协议层次结构的时候，这 其中包括至少20字节的IP头，8字节的UDP头，以及12字节的RTP头。这样，头信息至少要占用40个字节，那么RTP载荷的最大尺寸为1460字 节。以H264 为例，如果一帧数据大于1460，则需要分片打包，然后到接收端再拆包，组合成一帧数据，进行解码播放。

播放器在功能和性能上具有较高的要求，具体的实现上，需要主要解决的关键技术点主要包括有：多路高清解码、兼顾低时延与流畅性、音视频同步.

多路高清解码

　　多路高清解码播放每路都由多个线程配合来完成整个数据的处理流程，在多路播放的情况下则更为复杂。因此需要在系统的实现上具有高效的多线程管理机制，以及对各模块的组织、内部互联互通上做出良好的设计：

将繁琐的数据处理流程统一成了标准的数据接口，控制管理上方便有效；
通过engine机制，对单路数据以及播放的管理提供了统一接口，对于多路播放实际上只需要管理多个engine即可；

低时延与流畅

在性能提高上通过减少对内存数据的拷贝以及额外的内存分配开销：

设计回环数据缓冲机制，对应用层输入的数据进行高效的缓存，在传输decode模块时，避免了数据拷贝；
在数据解码中使用了ffmpeg的directbuffer机制，进一步的避免了数据的拷贝动作；
数据再各模块之间传递时使用数据缓冲池，避免了额外的内存分配操作，同时也减少了因内存分配操作而带来的内存碎片；

　　在低时延与流畅的平衡性上，通过设置最大缓冲帧数和最小缓冲帧数来实现控制，具体实现策略为：
　　通过比较待解码缓冲区和解码后还未显示的缓冲区里数据包的个数的和值，如果该值大于最大缓冲帧数，说明有很多数据在缓存里，延迟大了，这时就要加快显示速度（减小output模块的休眠时间），最大缓冲帧数就是影响延迟的；反之一样， 最小缓冲帧数就是流畅的保证，该值越大就越流畅；通过改变这个最大值最小值就可以平衡延迟与流畅。

音视频同步

　　由于声音对时间的敏感性，所以在同步的处理上，系统以声音作为基准来参考，对视频的输出来进行调整，从而保证音视频的同步性，具体实现为：

通过比较音频和视频的时间戳（pts）来对视频的显示速度进行调整，如当前的视频的pts比音频pts大于最小偏差值（目前设置为200MS），说明视频快了，就放慢是视频的显示速度；反之就加快视频的显示速度；但是，如果差距太大（目前设置为1000MS）， 大于最大偏差值时，加快视频的显示速度的效果不明显就采用丢帧方式，这个一般出现再刚开启的是时候。

因此，推荐采用第三方框架 Android VLC，官网地址（http://www.videolan.org/）。官网给力demo很强大，so库里面也实现了抓拍，音量调节，快放慢放等方法。
也可参考Android大神农民伯伯的博客：http://www.cnblogs.com/mythou/category/505051.html