心中天堂的专栏

http://www.bfcat.com/index.PHP/2013/07/cv-star/今天在cvchina论坛上看到的一篇帖子，总结了当前CV界最火的一些人。列举的比较全面了。bfcat还想补充几个，加在后面了。CV人物1：Jianbo Shi史建波毕业于UC Berkeley，导师是Jitendra Malik。其最有影响力的研究成果：图像分割。其于2000年在PAM

我们知道SIP协议，在VoIP中有着广泛的应用。其实，在视频监控中，它也有着重要作用。随着网络带宽、计算机处理能力和存储容量的迅速提高以及各种实用视频信息处理技术的出现，视频监控朝网络化、智能化方向不断发展。大型联网安全与视频监控平台在城市公安、交通、金融、环保、电力、医疗、教育、电信等管理部门对城市范围内的监控需求增长的同时也在这两年开始大量增加，其中尤其以城市公安和电信的需求最为突出。

介绍 　　通信提供商及其合作伙伴和用户越来越渴求新一代基于 IP 的服务。现在有了 SIP协议（会话启动协议），一解燃眉之急。SIP协议 是不到十年前在计算机科学实验室诞生的一个想法。它是第一个适合各种媒体内容而实现多用户会话的协议，现在已成了 Internet 工程任务组 (IETF) 的规范。　　今天，越来越多的运营商、CLEC（竞争本地运营商）和 ITSP（IP 电话服务商）都在提供

一、概述回顾视频监控市场，各监控平台系统鉴采用的信令控制协议不统一,造成互联互通的技术门槛. 这有点类似于80年代我国交换机市场七国八制的状况.这些原因阻碍网络化时代对大规模电信级视频监控、远程访问、集中管理的需要。 业界探讨出两种解决思路：        从监控行业, 在现有平台集成SIP为业务通讯协议,来承载/管理前端;         从IMS/NGN通讯平台,IMS/NGN平台

一、引 言 　　通信技术发展到今天，电话网几乎覆盖全球。语音通信(电话)似乎已基本达到在任何时间，任何地点都可以沟通。随着技术的发展，人们已不满足仅仅语音通信，大规模视频通信已成为下一阶段信息产业发展方向。虽然电视会议已出现20多年，当前不但有统一的标准而且有成熟的产品，但是由于种种原因一直没有得到像电话那样的普遍应用。随着sip协议的出现，视频通信在技术上又有了新的发展动力。

协议简介：    会话初始化协议SIP（session initiation protocol,RFC3261）.是一个基于文本的处于应用层的控制协议，可以用来创建、修改、终止会话。具有简练、开放、兼容和可扩展等特性。    SIP只是整个多媒体架构中的一部分，可以和实时数据传输协议（RTP）、实时流协议（RSTP）、会话描述协议（SDP）等其他协议一起组成一个完整的多媒体结构。SIP在这

1.获得原码包我是从csdn获得 ortp-0.20.0.zip2.编译安装解压并进入主目录：cd /opt/ortp-0.20.0执行如下命令：a）./configureb）makec）sudo make  install装好以后系统环境如下，静态动态库安装到了/usr/local/lib目录下，包括libortp.la、libortp.so libortp.

完整的C／S架构的基于RTP／RTCP的H．264视频传输方案。此方案中，在服务器端和客户端分别进行了功能模块设计。服务器端：RTP封装模块主要是对H．264码流进行打包封装；RTCP分析模块负责产牛和发送RTCP包并分析接收到的RTCP包；QoS反馈控制模块则根据RR报文反馈信息动态的对发送速率进行调整；发送缓冲模块则设置端口发送RTP、RTCP包。客户端：RTP模块对接收到的RTP包进行解析判

名词解释场和帧 ：    视频的一场或一帧可用来产生一个编码图像。在电视中，为减少大面积闪烁现象，把一帧分成两个隔行的场。片：             每个图象中，若干宏块被排列成片的形式。片分为I片、B片、P片和其他一些片。                     I片只包含I宏块，P片可包含P和I宏块，而B片可包含B和I宏块。                     I宏块利用

------------------------------H.264的NAL层处理------------------------------H264以NALU（NAL unit）为单位来支持编码数据在基于分组交换技术网络中传输。NALU定义了可用于基于分组和基于比特流系统的基本格式，同时给出头信息，从而提供了视频编码和外部世界的接口。H264编码过程中的三种

----------------------前言-----------------------       H264是新一代的编码标准，以高压缩高质量和支持多种网络的流媒体传输著称，在编码方面，我理解的他的理论依据是：参照一段时间内图像的统计结果表明，在相邻几幅图像画面中，一般有差别的像素只有10%以内的点,亮度差值变化不超过2%，而色度差值的变化只有1%以内。所以对于一段变化不大图像

第1章介绍1. 为什么要进行视频压缩？未经压缩的数字视频的数据量巨大存储困难一张DVD只能存储几秒钟的未压缩数字视频。传输困难1兆的带宽传输一秒的数字电视视频需要大约4分钟。2. 为什么可以压缩去除冗余信息空间冗余：图像相邻像素之间有较强的相关性时间冗余：视频序列的相邻图像之间内容相似编码冗余：不同像素值出现的概率

YUV格式有两大类：planar和packed。对于planar的YUV格式，先连续存储所有像素点的Y，紧接着存储所有像素点的U，随后是所有像素点的V。对于packed的YUV格式，每个像素点的Y,U,V是连续交*存储的。 YUV，分为三个分量，“Y”表示明亮度（Luminance或Luma），也就是灰度值；而“U”和“V” 表示的则是色度（Chrominance或Chro

http://blog.csdn.net/abcjennifer/article/details/6577934视频压缩中，每帧代表一幅静止的图像。而在实际压缩时，会采取各种算法减少数据的容量，其中IPB就是最常见的。  简单地说，I帧是关键帧，属于帧内压缩。就是和AVI的压缩是一样的。 P是向前搜索的意思。B是双向搜索。他们都是基于I帧来压缩数据。

在视频会议领域，有许多可以值得参考的开源项目，这些开源项目有的是协议栈、有的是编码器或者是传输协议，由于视频会议系统是一个综合性的应用系统，里面包含功能较多，如能把这些开源项目选择性的加入我们的视频会议开发当中，我们的开发效率肯定会事半功倍，下面我们列举一下视频会议相关的十大开源项目，并对其重要性及优缺点做一个全面的评价与排名。1、 OpenH323项目        （★★★★★）

RTMP服务器搭建可参考：Nginx与Nginx-rtmp-module搭建RTMP视频直播和点播服务器     实时流协议（Real-TimeMessaging Protocol，RTMP）是用于互联网上传输视音频数据的网络协议。本API提供了支持RTMP, RTMPT,RTMPE, RTMP RTMPS以及以上几种协议的变种(RTMPTE, RTMPTS)协议所需的大部分客户端功能以及少量

虽然FFmpeg本身有cuvid硬解，但是找不到什么好的资料，英伟达的SDK比较容易懂，参考FFmpeg源码，将NVIDIA VIDEO CODEC SDK的数据获取改为FFmpeg获取，弥补原生SDK不能以流作为数据源的不足。所用SDK版本为Video_Codec_SDK_7.1.9，英伟达官网可下载。1.修改数据源    首先是FFmpeg的一些常规的初始化bool

海思单板集成了多媒体处理软件平台（Media Process Platform,简称MPP），MPP提供的接口可用于视音频应用软件快速开发。例如车载监控、网络摄像头等。 多媒体处理架构  以下对自带的例子进行分析。 1 视频输入输出demo（sample_vio） 视频输入输出（vio）流程主要包括： （1）初始化变量 （2）mpp系统初始化 （3）开启vi设备和通

<!--@page {margin:2cm}h2 {margin-top:0.46cm; margin-bottom:0.46cm; direction:ltr; color:#000000; line-height:173%; text-align:justify; page-break-inside:avoid; widows:0; orphan

RFC3984是H.264的baseline码流在RTP方式下传输的规范，这里只讨论FU-A分包方式，以及从RTP包里面得到H.264数据和AAC数据的方法。1、单个NAL包单元12字节的RTP头后面的就是音视频数据，比较简单。一个封装单个NAL单元包到RTP的NAL单元流的RTP序号必须符合NAL单元的解码顺序。2、FU-A的分片格式数据比较大的H264视频包，被RTP分片发

最近被RTP的负载类型和时间戳搞郁闷了，一个问题调试了近一周，终于圆满解决，回头看看，发现其实主要原因还是自己没有真正地搞清楚RTP协议中负载类型和时间戳的含义。虽然做RTP传输，有着Jrtplib和Ortp这两个强大的库支持，一个是c++接口，一个是c语言接口，各有各的特点，各有各的应用环境，但是仅仅有库就能解决一切问题吗？可能仿照着一些例子程序，你能够完成主要的功能，但一旦问题发生了，不清楚原

RTSP 协议分析1.概述： RTSP（Real Time Streaming Protocol），实时流传输协议，是TCP/IP协议体系中的一个应用层协议，由哥伦比亚大学、网景和RealNetworks公司提交的IETF RFC标准。该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。类似HTTP协议的流控制协议。它们都使用纯文本来发送信息，而且rtsp协议的语法也和HTTP

熵编码数据压缩编码的概念：编码是用一些简单的字符来表达一定的信息，例如，如果明天是晴天用1来表示，阴天就是0压缩是消除数据间的相关性，一定的信息量尽量用较少的字符来表示压缩编码的必要性电子计算机的出现使信息话社会有了数字化的特点，电脑中的信息要以数字量表示出来，但我们可以简单的看一下数字话了的信息数量大小：一片CD-ROM 650Mcif格式视频大小352*288 彩色

解码器在解码时，首先逐个字节读取NAL的数据，统计NAL的长度，然后再开始解码。 nal_unit( NumBytesInNALunit ) {  /* NumBytesInNALunit为统计出来的数据长度 */       forbidden_zero_bit    // forbidden_zero_bit  等于 0表示网络传输没有出错     nal_ref_idc //

1.  引言       随着信息产业的发展，人们对信息资源的要求已经逐渐由文字和图片过渡到音频和视频，并越来越强调获取资源的实时性和互动性。但人们又面临着另外一种不可避免的尴尬，就是在网络上看到生动清晰的媒体演示的同时，不得不为等待传输文件而花费大量时间。为了解决这个矛盾，一种新的媒体技术应运而生，这就是流媒体技术。流媒体由于具有启动时延小、节省客户端存储空间等优势，逐渐成为人们的首选，流媒

http://www.rosoo.net/a/201112/15398.html

NTSC（National Television System Committee）制是最早的彩电制式，1952年由美国国家电视标准委员会制订。它采用正交平衡调幅的技术方式，故也称为正交平衡调幅制。美国、加拿大等大部分西半球国家以及中国的台湾、日本、韩国、菲律宾等均采用这种制式。其优点是解码线路简单、成本低。 PAL（Phase Alternation Line）制，它是当时的西德在1

1.S端子标准S端子标准S端子连接线音频复合视频S端子色差常规连接示意图     S端子（S-Video）是应用最普遍的视频接口之一，是一种视频信号专用输出接口。常见的S端子是一个5芯接口，其中两路传输视频亮度信号，两路传输色度信号，一路为公共屏蔽地线，由于省去了图像信号Y与色度信号C的综合、编码、合成以及电视机机内的输入切换、矩阵解

以下是某省IPTV的RTSP协商过程：DESCRIBE rtsp://118.122.89.27:554/live/ch10083121594790060557.sdp?playtype=1&boid=001&backupagent=118.122.89.27:554&clienttype=1&time=20100929182111+08&life=172800&ifpricereqsnd=1

频编解码技术有两套标准，国际电联（ITU-T）的标准H.261、H.263、H.263+等；还有ISO 的MPEG标准Mpeg1、Mpeg2、Mpeg4等等。H.264/AVC是两大组织集合H.263+和Mpeg4的优点联合推出的最新标准，最具价值的部分无疑是更高的数据压缩比。在同等的图像质量条件下，H.264的数据压缩比能比H.263高2倍，比MPEG-4高1.5倍。    以下我们简单

会话描述协议（SDP）为会话通知、会话邀请和其它形式的多媒体会话初始化等目的提供了多媒体会话描述。会话目录用于协助多媒体会议的通告，并为会话参与者传送相关设置信息。SDP 即用于将这种信息传输到接收端。SDP 完全是一种会话描述格式 ― 它不属于传输协议 ― 它只使用不同的适当的传输协议，包括会话通知协议（SAP）、会话初始协议（SIP）、实时流协议（RTSP）、MIME 扩展协议的电子邮件以

RTP封包中的有效负载类型(Payload Type)的栏位长度为7位元，因此RTP可以支援128种不通的有效负载类型。这个栏位用来指示声音或影像使用的编码类型，而且由发送端决定，不过当然前提是接收端也要拥有处理的能力。如果发送端在会话或者广播的中途决定改变编码方式，发送端可通过这个栏位来通知接收端。下面列出一些目前RTP所能支援的声音、影像有效负载类型。有效负载号 (PT)

-----------------------------------编码器输出格式----------------------------------        总的来说H264的码流的打包方式有两种，一种为annex-b byte stream format的格式，这个是绝大部分编码器的默认输出格式，就是每个帧的开头的3~4个字节是H264的start_code,0x00000

我们知道， RTP（Real-timeTransportProtocol）是用于Internet上针对多媒体数据流的一种传输协议，做流媒体传输方面的应用离不开RTP协议的实现及使用，为了更加快速地在项目中应用RTP协议实现流媒体的传输，我们一般会选择使用一些RTP库，例如使用c++语言编写的JRTPLIB库，网上关于RTP协议以及JRTPLIB库的介绍已经很多了，在此我也不再赘述，文本主要介绍实现

http://jpkc.zust.edu.cn/2007/dmt/course/

RTCP   RTCP协议将控制包周期发送给所有连接者，应用与数据包相同的分发机制。低层协议提供数据与控制包的复用，如使用单独的UDP端口号。RTCP执行下列四大功能：   (1) 主要是提供数据发布的质量反馈。RTCP是作为RTP传输协议的一部分，与其他传输协议的流和阻塞控制有关。反馈对自适应编码控制直接起作用，但IP多播经验表明，从发送者收到反馈对诊断发送错误是至关重要的。给所有参

YUV是指亮度参量和色度参量分开表示的像素格式，而这样分开的好处就是不但可以避免相互干扰，还可以降低色度的采样率而不会对图像质量影响太大。YUV是一个比较笼统地说法，针对它的具体排列方式，可以分为很多种具体的格式。转载一篇对yuv格式解释的比较清楚地文章，也可以直接参考微软的那篇文章。对于YUV格式，比较原始的讲解是MPEG-2 VIDEO部分的解释，当然后来微软有一个比较经典的解释，中文的大

H.264的目标应用涵盖了目前大部分的视频服务，如有线电视远程监控、交互媒体、数字电视、视频会议、视频点播、流媒体服务等。H.264为解决不同应用中的网络传输的差异。定义了两层：视频编码层（VCL：Video Coding Layer）负责高效的视频内容表示，网络提取层（NAL：Network Abstraction Layer）负责以网络所要求的恰当的方式对数据进行打包和传送。如图3.19所示。

H264层次构成H264标准是由JVT（Joint Video Team，视频联合工作组）组织提出的新一代数字视频编码标准。JVT于2001年12月在泰国Pattaya成立。它由ITU-T的VCEG（视频编码专家组）和ISO/IEC的MPEG（活动图像编码专家组）两个国际标准化组织的专家联合组成。JVT的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好的网络适应性

BT.656并行接口除了传输4:2:2的YCbCr视频数据流外，还有行、列同步所用的控制信号。如图3所示，一帧图像数据由一个625行、每行 1 728字节的数据块组成。其中，23～311行是偶数场视频数据，336～624行是奇数场视频数据，其余为垂直控制信号。BT.656每行的数据结构如图4所示。图4中，每行数据包含水平控制信号和YC