yuyin86的专栏

<br />RTSP（Real Time Streaming Protocol）实时流协议，是TCP/IP协议体系中的一个应用层协议。RTSP在体系结构上位于RTP和RTCP之上，它使用TCP或RTP完成数据传输。<br />RTSP没有“连接”这个概念，而由RTSP会话（session）代替（服务器端保持一个由识别符标记的会话）。RTSP会话没有绑定传输层连接（如TCP连接）。在RTSP会话期间，RTSP客户端可以打开或关闭多个到服务器端的可靠传输连接以发出RTSP请求。但也可以使用无连接传输协议，比如U

概述：<br />流媒体技术是一种支持多媒体数据流通过网络从服务器向客户端传送，接受方边接收边播放的技术。<br />对网络服务的要求：必须实时传输数据，仅容许少量的延迟（数百毫秒）； 传送数据相对可靠性，容忍一定数量的数据丢失； 保证一定的带宽，以保证传输的数据量能够实时播放。 架设基于vlc的UDP服务器<br />UDP（用户数据报协议），是 OSI 参考模型中一种无连接的传输层协议，提供面向事务的简单不可靠信息传送服务。是一个简单的面向数据报的传输层协议，与面向连接的TCP协议相对应。<br />正

<br />我们从CMOS摄像头采集到的数据一般是YUV2格式的，YUV2是YUYV,YVYU,VYUY,UYVY，四种格式的统称，在源代码中，采用YUYV格式的数据转换为RGB24格式的数据，当然，通过修改某些参数，YUV2所有格式的数据都可以转换成RGB24即RGB888格式的数据。<br />首先，我们采集到的数据是以Y0,V0,Y1,U0,  Y2,V2,Y3,U2  …的格式存放在内存中，这里，我是通过串口将该块内存中的数据打印到文件中，并将数据稍作编辑，即可作为带转换的YUV2数据。<br />

一、知识点<br /> <br />ES流(Elementary Stream): 也叫基本码流,包含视频、音频或数据的连续码流.<br />PES流(Packet Elementary Stream): 也叫打包的基本码流, 是将基本的码流ES流根据需要分成长度不等的数据包, 并加上包头就形成了打包的基本码流PES流.<br />TS流(Transport Stream): 也叫传输流, 是由固定长度为188字节的包组成, 含有独立时基的一个或多个program, 一个program又可以包含多个视频、音

级别： 初级肖文鹏 (xiaowp@263.net), 自由软件爱好者2004 年 2 月 01 日虽然目前Linux的优势主要体现在网络服务方面，但事实上同样也有着非常丰富的媒体功能，本文就是以多媒体应用中最基本的声音为对象，介绍如何在Linux平台下开发实际的音频应用程序，同时还给出了一些常用的音频编程框架。一、数字音频音频信号是一种连续变化的模拟信号，但计算机只能处理和记

Introduction to programming with OpenCVOpenCV编程简介作者： Gady AgamDepartment of Computer ScienceJanuary 27, 2006Illinois Institute of Technology

直接进入正题，经过JPEG压缩后的数据时通过RTP/RTCP协议传输到网络上去的，本课题使用的是Jrtplib的RTP/RTCP协议栈，首先在网上获取Jrtplib包的源码，解压缩配置编译安装，没有bugs就ok了      在源码包里面有好几个examples，都可以借鉴。在设

要用到的软件包 摄像头驱动: http://mxhaard.free.fr/spca50x/embedded/KernelPatch/usb-2.4.31LE06.patch.tar.gz 服务器视频采集: http://mxhaard.free.fr/spca50x/embed

PCM编码(原始数字音频信号流)类型：Audio制定者：ITU-T所需频宽：1411.2 Kbps特性：音源信息完整，但冗余度过大优点：音源信息保存完整,音质好缺点：信息量大，体积大，冗余度过大应用领域：voip版税方式：Free备注：在计算机应用中，能够达到最高保真水平的就是P

ttp://git.mansr.com/?p=omapfbplay;a=tree omapfbplay是一个支持overlay,YUV格式加速的omap媒体播放软件。 此软件基于ffmpeg　　http://git.mansr.com/?p=omapfbplay;

FSL camerapreviewwith V4l2这部分spec的内容没有全看懂，但是根据FSL的代码能知道这其中的sequence，下面就结合着FSL的代码来描述下video overlay过程的sequence，如果有什么错误的地方，请大家指正。首先介绍

现代的GUI系统都是基于事件驱动的，其中必有一个事件循环过程来获取和处理事件。gtk也一样，gtk的事件循环过程是由glib提供的，而iochannel是glib中把IO事件集成到事件的一种手段。iochannel可以把开发者指定的发生在 文件描述符、管道和socket之上的

linux android V4l2 的一些精品文章连接花了很长时间找的，因此记录下来，以备使用：Android camera preview and take picture with V4l2：http://hi.baidu.com/kellyvivian/b

1. openCore相关文档《OpenCORE Multimedia Framework Capabilities》《INTRODUCTION TO THE OPENCORE VIDEO COMPONENTS USED IN THE ANDROID PLATFORM》《PVPlayer SDK Developer's Guide》《PVLogger User's Guide》

码率、帧率和I B P帧 以前没有接触视频这一块，对视频这一方面的知识不是很了解。现在了解一下码率和帧率的问题。      码率就是数据传输时单位时间传送的数据位数,一般我们用的单位是kbps即千位每秒。通俗一点的理解就是取样率，单位时间内取样率越大，精度就越高，处理出来的文件就越接近原始文件，但是文件体积与取样率是成正比的，所以几乎所有的编码格式重视的都是如何用最低的码率达到最少的失真，

一、基本概念1 比特率：表示经过编码（压缩）后的音频数据每秒钟需要用多少个比特来表示，单位常为kbps。2 响度和强度：声音的主观属性响度表示的是一个声音听来有多响的程度。响度主要随声音的强度而变化，但也受频率的影响。总的说，中频纯音听来比低频和高频纯音响一些。3 采样和采样率：采样是把连续的时间信号，变成离散的数字信号。采样率是指每秒钟采集多少个样本。Nyquist采样定

原地址:http://www.hudong.com/wiki/%E8%A7%86%E9%A2%91%E5%B8%A7%E7%8E%87是用于测量显示帧数的量度。所谓的测量单位为每秒显示帧数(Frames per Second，简：FPS）或“赫兹”（Hz）。此词多用于影视制作和电子游戏。　　由于人类眼睛的特殊生理结构，如果所看画面之帧率高于16的时候，就会认为是连贯的，此现象称之为视觉

一 基础篇 1.1 图形、图像和视频图形（graphic）：和图像与视频不同，有一种说法是图形就是自然界的客观世界不存在的图案。对于计算机中的图形研究，有专门的计算机图形学，主要的研究对象是点、线、面等抽象事物。目前所谓的计算机显卡3D技术支持，主要就是图形技术相关的范畴。关于图形方面的开发，好象OpenGL是其中比较有名的3D图形库。图像（image）：和图形相反，图像可

#includestdio.h>#includestdlib.h>extern "C"{//#include"avcodec.h"#include"avformat.h"}int main(chararg,char*argv[]){    char *filename ="02.swf";        av_regi

1 文件格式MP3文件格式四部分，按顺序排列如下：ID3V2 包含了作者，作曲，专辑等信息，长度不固定，扩展了ID3V1的信息量Frame 音频帧序列APEV2 包含了作者，作曲，专辑等信息，长度不固定，扩展了ID3V1的信息量ID3V1 包含了作者，作曲，专辑等信息，长度为128BYTE1.1 ID3 V1ID3 V1内容按顺序排列如下：名称

基于C的跨平台开源多媒体开发库——SDLSDL（Simple DirectMedia Layer）是一套开放源代码的跨平台多媒体开发库，使用C语言写成。SDL提供了数种控制图像、声音、输出入的函数，让开发者只要用相同或是相似的代码就可以开发出跨多个平台（Linux、Windows、Mac OS X等）的应用软件。目前SDL多用于开发游戏、模拟器、媒体播放器等多媒体应用领域。SD

基础知识1 视频    静止的画面叫图像（picture）。连续的图像变化每秒超过24帧（frame）画面以上时，根椐视觉暂留原理，人眼无法辨别每付单独的静态画面，看上去是平滑连续的视觉效果。这样的连续画面叫视频。    当连续图像变化每秒低于24帧画面时，人眼有不连续的感觉叫动画（cartoon）。电影、电视和录像已属于较为传统视听媒体，随着计算机网络和多媒体（multi

视频格式D1QCIF全称Quarter common intermediate format。QCIF是常用的标准化图像格式。在H.323协议簇中，规定了视频采集设备的标准采集分辨率。QCIF = 176×144像素。CIF是常用的标准化图像格式（Common Intermediate Format）。在H.323协议簇中，规定了视频采集设备的标准采集分辨率。CIF = 352×2

视频监控知识 CIF分辨率 CIFcommon intermediate format DCIFdouble intermediate format QCIFquarter common intermediate format 图象格式

OpenMAX是一种跨平台的应用程序接口(API)，用来对广泛运用在如MPEG-4、音频和图像编解码器、2D和3D图像等视频编解码器中的多媒体处理进行标准化，便于软件设计者将多媒体应用移植到不同体系结构平台。Omx_Core、Omx_Img和Omx_Cam模块组成了OMX Integration Layer；OMX Integration Layer分为两部分：接口层和组件部分。通常，

摘要：本文简要介绍了OpenMax的集成层，并阐述了其在Android上的实现和运行过程。关键字：OMX,多媒体框架, IL, Android, Stagefright1、OpenMax集成层介绍OpenMax是一个多媒体应用程序的框架标准。它自上而下分为三层，Application Layer, Integration Layer和Development Layer。

FFMPEG多线程编码器一般以在Slice内分功能模块进行多线程编码，如h263，h263P，msmpeg(v1, v2, v3)，wmv1。包含以下几个线程：(1)Pre_estimation_motion_thread运动估计前的准备;(2)Estimation_motion_thread运动估计;(3)Mb_var_thread宏块其他变量;(4)Encode_thread编码主线程。当

本文主要介绍ffmpeg解码器内部管理Video Buffer的原理和过程，ffmpeg的Videobuffer为内部管理，其流程大致为：注册处理函数->帧级释放->帧级申请->清空。1注册get_buffer()和release_buffer()FFAPI_InitCodec()avcodec_alloc_context()avcodec_alloc_context2()

Video graphics system[IPU, VPU and GPU]IPU: Image Processing Unit • -- Display • -- Camera • -- Image Rotation, Inversion, Color Space Conversion • -- Image quality enhancement • -- Vi

OpenMax 调用顺序（OpenMax Call Sequences）1 OMX 核心初始化 _OMX_MasterInit1)调用OMX_Init函数->OsclInit::Init(error, &select); //init all Oscl layers except Oscl scheduler.->_Try_OMX_Create(error, dat

1：什么是抠色（Color Keying）        我们总是blit矩形区域的图片，但是很显然，几乎没有一个游戏的角色图片是矩形的。美工把图片画到一个矩形范围内，如果设定了特定的背景颜色，我们就可以把矩形图片上的角色“抠”下来，相对于背景来说，我们就是把不属于角色的背景颜色扣掉，故称抠色。        我们看看SDL抠色函数的原形：int SDL_SetColorKey

来源：cnttec.com　场的概念原于电视，电视由于要克服信号频率带宽的限制，无法在制式规定的刷新时间内（PAL制式是25fps）同时将一帧图象显现在屏幕上，只能将图象分成两个半幅的图像，一先一后地显现，由于刷新速度快，肉眼是看不见地。普通电视都是采用隔行扫描方式。隔行扫描方式是将一帧电视画面分成奇数场和偶数场两次扫描。第一次扫出由1、3、5、7…等所有奇数行组成的奇数场，第二次扫出由2、4

YCbCr是DVD、摄像机、数字电视等消费类视频产品中，常用的色彩编码方案。YCbCr 有时会称为 YCC.。Y'CbCr 在模拟分量视频（analog component video）中也常被称为 YPbPr。YCbCr不是一种绝对色彩空间，是YUV压缩和偏移的版本。YCbCr与YUV的区别正如几何上用坐标空间来描述坐标集合, 色彩空间用数学方式来描述颜色集合。常见的3 个基本色彩模型是

1.什么是"帧",在最早的电影里面,一幅静止的图像被称做一"帧(Frame)",影片里的画面是 每一秒钟有24帧,为什么是24帧,这个数字是怎么来的,因为人类眼睛的视觉暂留现象正好符合每秒24帧的标准,所以用多也没有意义还会浪费电影胶片,增加成本.    2.什么是"行",在我们用的传统CRT模似电视里面,一个电子束在水平方向的扫描被称之为行,或行扫描.    3.什么是"场",在我们

ITU-R BT.601和ITU-R BT.656国际电信联盟（International Telecommunication Union）无线通信部门（ITU-R）制定的标准。严格来说，ITU-R BT.656应该是隶属ITU-R BT.601的一个子协议。ITU-R BT.601是演播室数字电视编码参数标准，而ITU-R BT.656 则是ITU-R BT.601附件A中的数字接口标准，用

BT.656并行接口除了传输4:2:2的YCbCr视频数据流外，还有行、列同步所用的控制信号。如图3所示，一帧图像数据由一个625行、每行 1 728字节BT.656并行接口除了传输4:2:2的YCbCr视频数据流外，还有行、列同步所用的控制信号。如图3所示，一帧图像数据由一个625行、每行 1 728字节的数据块组成。其中，23～311行是偶数场视频数据，336～624行是奇

OSD的主要实现方法和类型     目前有两种主要的OSD实现方法：外部OSD发生器与视频处理器间的叠加合成；视频处理器内部支持OSD，直接在视频缓存内部叠加OSD信息。     外部OSD发生器与视频处理器间的叠加合成的实现原理是：由一个MCU内建的字符发生器及显示缓存，利用快速消隐(Fast-Blank)信号切换电视的画面和OSD显示内容，使OSD的字符等内容叠加在最终的显

嵌入式方面： 1.关于嵌入式开发的站点，提供非常多关于嵌入式开发的资料。包括开发公司，技术文档，免费资源等等。版面包括 busses & boards,embedded software,dsp,embedded systems,open source,rtos,embedded chips,system-on-a-chip 等等。强烈推荐 http://www.eg3.com/

虽然目前Linux的优势主要体现在网络服务方面，但事实上同样也有着非常丰富的媒体功能，本文就是以多媒体应用中最基本的声音为对象，介绍如何在Linux平台下开发实际的音频应用程序，同时还给出了一些常用的音频编程框架。一、数字音频音频信号是一种连续变化的模拟信号，但计算机只能处理和记录二进制的数字信号，由自然音源得到的音频信号必须经过一定的变换，成为数字音频信号之后，才能送到计算机中作进一步的

音频视频编程相关：GStreamer/ffmpeg/directshow/vfwlinux和window下几种流行的音频视频编程框架作一个总结，防止自己迷惘，免于晕头转向。一、GStreamerGStreamer is a library that allows the construction of graphs of media-handling components, r