android视频采集 rtsp完整代码,让android支持RTSP及live555分析

最新推荐文章于 2024-07-24 13:25:54 发布
最新推荐文章于 2024-07-24 13:25:54 发布
阅读量514 收藏
点赞数
文章标签： android视频采集 rtsp完整代码

0  总述

0.1  这里主要以H264+ACC为基础作介绍

0.2  live555中的demo说明，RTSP服务端为live555MediaServer，openRTSP为调试用客户端。

0.3  可以在live555中实现一个trace_bin的函数跟踪流媒体数据的处理过程。

void trace_bin(const unsigned char *bytes_ptr, int bytes_num)

{

#define LOG_LINE_BYTES 16

int i, j;

for (i = 0; i <= bytes_num / LOG_LINE_BYTES; i++) {

for (j = 0;

j < ( (i < (bytes_num / LOG_LINE_BYTES))

? LOG_LINE_BYTES

: (bytes_num % LOG_LINE_BYTES) );

j++)

{

if (0 == j) printf("%04d ", i * LOG_LINE_BYTES);

if (LOG_LINE_BYTES/2 == j) printf(" ");

printf(" %02x", bytes_ptr[i * LOG_LINE_BYTES + j]);

}

printf("\n");

}

}

1  宏观流程

1.1  对每个播放请求建立一个session，并对应音视频建立subsession,subsession则是具体处理流媒体的单位。

------------------------------------------------------[#1]--

session client requst

|

subsession audio/video

------------------------------------------------------------

1.2  数据处理流程:

------------------------------------------------------[#2]--

source --> filter(source) ... --> sink

| | |

+-------+-------------------+ |

| v

v subsession.createNewRTPSink()

subsession.createNewStreamSource()

------------------------------------------------------------

1.3  BasicTaskScheduler::SingleStep()

BasicTaskScheduler是live555的任务处理器，他的主要工作都是在SingleStep()中完成的.

在SingleStep()中主要完成下面三种工作:

void BasicTaskScheduler::SingleStep(unsigned maxDelayTime) {

//1. 处理io任务

...

int selectResult = select(fMaxNumSockets, &readSet, &writeSet,

&exceptionSet, &tv_timeToDelay);

...

while ((handler = iter.next()) != NULL) {

...

(*handler->handlerProc)(handler->clientData, resultConditionSet);

break;

}

...

//2. handle any newly-triggered event

...

//3. handle any delayed event

fDelayQueue.handleAlarm();

}

RTSP请求、链接建立、开始播放处理主要是在1中完成的，而视频播放主要是在3中完成。

以ACC播放为例：

void ADTSAudioFileSource::doGetNextFrame() {

// 读取数据并做一些简单处理

...

int numBytesRead = fread(fTo, 1, numBytesToRead, fFid);

...

// 将FramedSource::afterGetting加入fDelayQueue中

// FramedSource::afterGetting会处理读取到数据，并又会调用

// ADTSAudioFileSource::doGetNextFrame()，这样实现循环读取文件。

nextTask() = envir().taskScheduler().scheduleDelayedTask(0,

(TaskFunc*)FramedSource::afterGetting, this);

}

1.4  DelayQueue

fDelayQueue是一个需要处理的任务的队列，每次SingleStep()只会执行第一个任务head()，这里的任务对应DelayQueue的元素，DelayQueue的各个元素都会有自己的DelayTime，用来表示延时多久后执行。而队列中的元素便是按照DelayTime有小到大排列的，元素中fDeltaTimeRemaining记录的是该元素相对于它之前元素的延时。参照函数DelayQueue::addEntry()便可看出是如何入队列的。

例如([]中的数字便是相对延时(fDeltaTimeRemaining))：

[0]->[1]->[3]->[2]->...->[1]->NULL

^

|

head()

在处理DelayQueue时往往都要先做一次计时同步操作synchronize()，因为DelayQueue中元素的延时都是相对的，所以一般只要处理首元素即可，不过如果同步之后延时有小于0的，便都会改为DELAY_ZERO(即表示需要立即执行的)。

执行任务：

void DelayQueue::handleAlarm() {

...

toRemove->handleTimeout();

}

void AlarmHandler::handleTimeout() {

(*fProc)(fClientData);

DelayQueueEntry::handleTimeout();

}

任务在处理完成后便会被删除。

2  类关系

* live555的流程分析主要就放在这个章节中，如果有需要参考函数关系或者对象关系的请参考3, 4两个章节。

2.1  涉及到的主要类的关系图:

------------------------------------------------------[#3]--

Medium

+ServerMediaSubsession

| +OnDemandServerMediaSubsession

| +FileServerMediaSubsession

| +H264VideoFileServerMediaSubsession //h264

| +ADTSAudioFileServerMediaSubsession //aac

|

+MediaSink

| +RTPSink

| +MultiFramedRTPSink

| +VideoRTPSink

| | +H264VideoRTPSink //h264

| +MPEG4GenericRTPSink //aac

|

+MediaSource

+FramedSource //+doGetNextFrame(); +fAfterGettingFunc;

+FramedFilter

| +H264FUAFragmenter //h264

| +MPEGVideoStreamFramer

| +H264VideoStreamFramer //h264

+FramedFileSource

+ByteStreamFileSource //h264

+ADTSAudioFileSource //acc

StreamParser

+MPEGVideoStreamParser

+H264VideoStreamParser //h264

------------------------------------------------------------

我们看下FramedFilter和FramedFileSource相对于FramedSource增加了哪些成员:

FramedFilter {

FramedSource* fInputSource;

}

FramedFileSource {

FILE* fFid;

}

从两者的命名和增加的成员可以看出各自的作用。FramedFilter便是对应着[#2]中的filter，而FramedFileSource则是以本地文件为输入的source。

2.2  如何实现带有filter流程:

这便用到了FramedFilter中的fInputSource成员，以H264为例，

H264VideoStreamFramer.fInputSource = ByteStreamFileSource;

H264FUAFragmenter.fInputSource = H264VideoStreamFramer;

将上游source赋值到下游filter的fInputSource即可，对于H264便可以得到下面的一个处理流程:

ByteStreamFileSource -> H264VideoStreamFramer -> H264FUAFragmenter -> H264VideoRTPSink

在H264VideoStreamFramer的父类MPEGVideoStreamFramer中也有新增成员，

MPEGVideoStreamFramer {

MPEGVideoStreamParser* fParser;

}

MPEGVideoStreamFramer.fParser = H264VideoStreamParser;

H264VideoStreamParser是用来filter过程中处理视频数据的。

在MultiFramedRTPSink::buildAndSendPacket()中添加RTP头[#0]。

3  函数关系

3.1  H264函数调用关系

------------------------------------------------------[#4]--

RTSPServer::RTSPClientSession::handleCmd_SETUP()

OnDemandServerMediaSubsession::getStreamParameters(

streamToken: new StreamState(

fMediaSource: H264VideoFileServerMediaSubsession::createNewStreamSource() )

)

**********

RTSPServer::RTSPClientSession::handleCmd_DESCRIBE()

ServerMediaSession::generateSDPDescription()

OnDemandServerMediaSubsession::sdpLines()

H264VideoFileServerMediaSubsession::createNewStreamSource()

H264VideoStreamFramer::createNew( fInputSource: ByteStreamFileSource::createNew(),

fParser: new H264VideoStreamParser(

fInputSource: H264VideoStreamFramer.fInputSource) )

**********

RTSPServer::RTSPClientSession::handleCmd_PLAY()

H264VideoFileServerMediaSubsession::startStream() [OnDemandServerMediaSubsession::startStream()]

StreamState::startPlaying()

H264VideoRTPSink::startPlaying() [MediaSink::startPlaying(fMediaSource)]//got in handleCmd_SETUP()

H264VideoRTPSink::continuePlaying()

fSource, fOurFragmenter: H264FUAFragmenter(fInputSource: fMediaSource)

MultiFramedRTPSink::continuePlaying()

MultiFramedRTPSink::buildAndSendPacket()

MultiFramedRTPSink::packFrame()

H264FUAFragmenter::getNextFrame() [FramedSource::getNextFrame()]

H264FUAFragmenter::doGetNextFrame() {1}

1)=No NALU=

H264VideoStreamFramer::getNextFrame() [FramedSource::getNextFrame()]

MPEGVideoStreamFramer::doGetNextFrame()

H264VideoStreamParser::registerReadInterest()

MPEGVideoStreamFramer::continueReadProcessing()

H264VideoStreamParser::parse()

H264VideoStreamFramer::afterGetting() [FramedSource::afterGetting()]

H264FUAFragmenter::afterGettingFrame()

H264FUAFragmenter::afterGettingFrame1()

goto {1} //Now we have got NALU

2)=Has NALU=

FramedSource::afterGetting()

MultiFramedRTPSink::afterGettingFrame()

MultiFramedRTPSink::afterGettingFrame1()

MultiFramedRTPSink::sendPacketIfNecessary()

------------------------------------------------------------

4  对象关系

4.1  H264对象关系图

------------------------------------------------------[#5]--

ServerMediaSession{#1}.fSubsessionsTail = H264VideoFileServerMediaSubsession{2}.fParentSession = {1}

fStreamStates[] {

.subsession = {2}

.streamToken = StreamState {

.fMaster = {2}

.fRTPSink = H264VideoRTPSink{5}.fSource/fOurFragmenter

= H264FUAFragmenter{4} {

.fInputSource = H264VideoStreamFramer{3}

.fAfterGettingFunc = MultiFramedRTPSink::afterGettingFrame()

.fAfterGettingClientData = {5}

.fOnCloseFunc = MultiFramedRTPSink::ourHandleClosure()

.fOnCloseClientData = {5}

}

.fMediaSource = {3} {

.fParser = H264VideoStreamParser {

.fInputSource = ByteStreamFileSource{6}

.fTo = [{5}.]fOutBuf->curPtr()

}

.fInputSource = {6}

.fAfterGettingFunc = H264FUAFragmenter::afterGettingFrame()

.fAfterGettingClientData = {4}

.fOnCloseFunc = FramedSource::handleClosure()

.fOnCloseClientData = {4}

}

}

}

------------------------------------------------------------

4.2  AAC对象关系图

------------------------------------------------------[#6]--

ServerMediaSession{1}.fSubsessionsTail = ADTSAudioFileServerMediaSubsession{2}.fParentSession = {1}

fStreamStates[] {

.subsession = {2}

.streamToken = StreamState {

.fMaster = {2}

.fRTPSink = MPEG4GenericRTPSink {

.fOutBuf = OutPacketBuffer

.fSource = ADTSAudioFileSource {3}

.fRTPInterface = RTPInterface.fGS = Groupsock

}

.fMediaSource = {3}

}

}

------------------------------------------------------------

5  RTSP

5.1  RTSP命令和处理函数的对应关系:

RTSP命令 live555中处理函数

---------------------------------------------

OPTIONS handleCmd_OPTIONS

DESCRIBE handleCmd_DESCRIBE

SETUP handleCmd_SETUP

PLAY handleCmd_PLAY

PAUSE handleCmd_PAUSE

TEARDOWN handleCmd_TEARDOWN

GET_PARAMETER handleCmd_GET_PARAMETER

SET_PARAMETER handleCmd_SET_PARAMETER

5.2  RTSP播放交互示例(openRTSP)

--------------------------------------------------------------------------------

ubuntu$ ./openRTSP rtsp://192.168.43.1/grandma.264

Opening connection to 192.168.43.1, port 554...

...remote connection opened

Sending request: OPTIONS rtsp://192.168.43.1/grandma.264 RTSP/1.0

CSeq: 2

User-Agent: ./openRTSP (LIVE555 Streaming Media v2012.02.29)

Received 152 new bytes of response data.

Received a complete OPTIONS response:

RTSP/1.0 200 OK

CSeq: 2

Date: Tue, Jan 25 2011 21:02:53 GMT

Public: OPTIONS, DESCRIBE, SETUP, TEARDOWN, PLAY, PAUSE, GET_PARAMETER, SET_PARAMETER

--------------------------------------------------------------------------------

Sending request: DESCRIBE rtsp://192.168.43.1/grandma.264 RTSP/1.0

CSeq: 3

User-Agent: ./openRTSP (LIVE555 Streaming Media v2012.02.29)

Accept: application/sdp

Received 682 new bytes of response data.

Received a complete DESCRIBE response:

RTSP/1.0 200 OK

CSeq: 3

Date: Tue, Jan 25 2011 21:02:53 GMT

Content-Base: rtsp://192.168.43.1/grandma.264/

Content-Type: application/sdp

Content-Length: 517

v=0

o=- 1295989373493698 1 IN IP4 0.0.0.0

s=H.264 Video, streamed by the LIVE555 Media Server

i=grandma.264

t=0 0

a=tool:LIVE555 Streaming Media v2012.02.04

a=type:broadcast

a=control:*

a=range:npt=0-

a=x-qt-text-nam:H.264 Video, streamed by the LIVE555 Media Server

a=x-qt-text-inf:grandma.264

m=video 0 RTP/AVP 96

c=IN IP4 0.0.0.0

b=AS:500

a=rtpmap:96 H264/90000

a=fmtp:96 packetization-mode=1;profile-level-id=4D4033;

sprop-parameter-sets=Z01AM5p0FidCAAADAAIAAAMAZR4wZUA=,aO48gA==

a=control:track1

Opened URL "rtsp://192.168.43.1/grandma.264", returning a SDP description:

v=0

o=- 1295989373493698 1 IN IP4 0.0.0.0

s=H.264 Video, streamed by the LIVE555 Media Server

i=grandma.264

t=0 0

a=tool:LIVE555 Streaming Media v2012.02.04

a=type:broadcast

a=control:*

a=range:npt=0-

a=x-qt-text-nam:H.264 Video, streamed by the LIVE555 Media Server

a=x-qt-text-inf:grandma.264

m=video 0 RTP/AVP 96

c=IN IP4 0.0.0.0

b=AS:500

a=rtpmap:96 H264/90000

a=fmtp:96 packetization-mode=1;profile-level-id=4D4033;

sprop-parameter-sets=Z01AM5p0FidCAAADAAIAAAMAZR4wZUA=,aO48gA==

a=control:track1

Created receiver for "video/H264" subsession (client ports 56488-56489)

--------------------------------------------------------------------------------

Sending request: SETUP rtsp://192.168.43.1/grandma.264/track1 RTSP/1.0

CSeq: 4

User-Agent: ./openRTSP (LIVE555 Streaming Media v2012.02.29)

Transport: RTP/AVP;unicast;client_port=56488-56489

Received 205 new bytes of response data.

Received a complete SETUP response:

RTSP/1.0 200 OK

CSeq: 4

Date: Tue, Jan 25 2011 21:02:53 GMT

Transport: RTP/AVP;unicast;destination=192.168.43.244;source=192.168.43.1;

client_port=56488-56489;server_port=6970-6971

Session: 7626020D

Setup "video/H264" subsession (client ports 56488-56489)

Created output file: "video-H264-1"

--------------------------------------------------------------------------------

Sending request: PLAY rtsp://192.168.43.1/grandma.264/ RTSP/1.0

CSeq: 5

User-Agent: ./openRTSP (LIVE555 Streaming Media v2012.02.29)

Session: 7626020D

Range: npt=0.000-

Received 186 new bytes of response data.

Received a complete PLAY response:

RTSP/1.0 200 OK

CSeq: 5

Date: Tue, Jan 25 2011 21:02:53 GMT

Range: npt=0.000-

Session: 7626020D

RTP-Info: url=rtsp://192.168.43.1/grandma.264/track1;seq=26490;rtptime=1809652062

Started playing session

Receiving streamed data (signal with "kill -HUP 6297" or "kill -USR1 6297" to terminate)...

Received RTCP "BYE" on "video/H264" subsession (after 35 seconds)

--------------------------------------------------------------------------------

Sending request: TEARDOWN rtsp://192.168.43.1/grandma.264/ RTSP/1.0

CSeq: 6

User-Agent: ./openRTSP (LIVE555 Streaming Media v2012.02.29)

Session: 7626020D

Received 65 new bytes of response data.

Received a complete TEARDOWN response:

RTSP/1.0 200 OK

CSeq: 6

Date: Tue, Jan 25 2011 21:03:28 GMT

--------------------------------------------------------------------------------

*** END ***

壮泉四十
关注
Android版 RTSP客户端
Cyril's Blog
03-17 1万+
在介绍Android版 RTSP客户端之前先吐槽一下ffmpeg的移植。虽然网上的教程已经很多了，但是本人能力有限。花费了一周的时间来移植ffmpeg，花费3小时左右的时间来编写了Android版的RTSP客户端。我要吐槽的就是网上的那些ffmpeg移植教程，我很奇怪那么多人移植没人发现问题吗？我碰到的问题是这杨的，一开始我按照网上的教程一步一步的做，但是最后一步出错了。就是这一步，把每一个lib
使用live555实时播放rtsp
老米的专栏
01-30 1万+
Android原生的MediaPlayer虽然也可以播放rtsp流媒体，可是却有几秒的延时，不符合实时的要求。于是需要使用第三方库live555来解决这个问题。   1、搭建live555框架   我们先下载源码，然后在eclipse里创建一个新的library工程，在工程jni下创建一个live目录，然后将源码拷贝过来。之后在jni下新建一个Android.mk和Application.
android视频采集+rtsp完整代码,Android视频采集+RTSP完整代码（可用）.rar
weixin_39614262的博客
05-26 274
1RtspCamera\RtspCamera\docs\wire-udp4000-h264-with-inband-sps.pps-nativeencoder.pcap8.14 MB2012/5/8 0:33:042RtspCamera\RtspCamera\obj\local\armeabi\libH264Encoder.so686.78 KB2012/8/22 15:08:473RtspVie...
Android平台RTSP|RTMP直播播放器技术接入说明
最新发布
乐学吧
07-24 1381
以上是Android平台RTSP、RTMP直播播放模块对接说明，在此之前，我们针对SmartPlayer做过一些技术方面的探讨，从低延迟、音视频同步处理、多实例实现、解码效率、性能占用、解码后数据对接、实时截图、录像、网络抖动处理等各个维度，做过相关的技术分享。感兴趣的开发者，可以单独跟我们探讨。
Android版rtsp直播demo
06-22
采集摄像头及音频编码成H264+AAC后转给rtsp服务器 直接用vlc就可预览手机摄像头 rtsp服务器源码参见http://download.csdn.net/detail/bxinquan/9477741
Android平台RTMP/RTSP播放器开发系列之解码和绘制
乐学吧
10-16 1622
本文主要抛砖引玉，粗略介绍下Android平台RTMP/RTSP播放器中解码和绘制相关的部分(Github)。 解码 提到解码，大家都知道软硬解，甚至一些公司觉得硬解码已经足够通用，慢慢抛弃软解了，如果考虑到设备匹配，软硬解码都支持，是个不错的选择，为此，大牛直播SDK在开发这块的时候，分类是这样的： 1. 软解码：解码后获取到原始数据，可进行后续的原始数据回调和快照等操作； 2. 硬解码：解码后获取到原始数据，可进行后续的原始数据回调和快照等操作； 3. 硬解码：设置surface模式，直接re
Live555库和视频RTSP流解析
zhanjianshinian的专栏
12-19 3748
原文：http://blog.chinaunix.net/uid-790245-id-2037522.html   Real Time Streaming Protocol或者RTSP（实时流媒体协议），是由Real network 和Netscape共同提出的如何有效地在IP网络上传输流媒体数据的应用层协议。RTSP提供一种可扩展的框架，使能够提供能控制的，按需传输实时数 据，比如音频和
Android应用源码之Android视频采集+RTSP完整代码（可用）-IT计算机-毕业设计.zip
04-06
本项目“Android应用源码之Android视频采集+RTSP完整代码（可用）”提供了一个完整的示例，帮助开发者学习如何在Android应用中实现视频采集并将其通过RTSP（Real Time Streaming Protocol）协议进行传输。...
基于Live555的从多个摄像头实时获取H264/265数据并转发的Rtsp服务器
08-10
【标题】"基于Live555的从多个摄像头实时获取H264/265数据并转发的Rtsp服务器"所涉及的核心技术主要包括以下几个方面： 1. **Live555**: Live555是一个开源的多媒体流媒体库，主要用于实现Real-Time Transport ...
Android视频采集+RTSP
05-02
在Android平台上进行视频采集并利用RTSP（Real Time Streaming Protocol）传输是...提供的"Android视频采集+RTSP完整代码（可用）"应该包含了实现这一功能的完整示例，通过研究这些代码，你可以更深入地理解整个流程。
Android视频采集+RTSP完整代码（可用）
10-19
Android视频采集+RTSP完整代码（可用）源代码，是一个很不错的Android源码，有兴趣的伙伴们抽时间可以看一下把
Android系统上的RTSP播放器
01-17
运行在Android系统上的RTSP播放器，学习rtsp原理，和开发
最新 Android视频采集+RTSP完整代码（可用）
09-24
最新 Android视频采集+RTSP完整代码（可用）
RtspAndroidClient
09-02
安卓RtspClient ， 如需java实现rtspClient取流也可以复用部分java代码，实现rtsp取流保存到本地 实现基本框架 支持以UDP方式接收RTP报文 - [ ] 优化UDP报文解码 支持以TCP方式接收RTP报文 - [ ] 优化TCP报文重组 实现RTP报文重组 - [x] 支持FU-A报文重组 - [x] 支持单包NAL报文 - [ ] 增加常用NAL报文重组 支持H264解码显示 - [x] 支持H264硬解码显示(Android 4.1以上版本支持) - [ ] 支持H264软解码显示 支持ACC音频
live555 android 直播,通过live555实现H264 RTSP直播
weixin_32184991的博客
05-28 694
前面的文章中介绍了《H264视频通过RTMP流直播》，下面将介绍一下如何将H264实时视频通过RTSP直播。实现思路是将视频流发送给live555, 由live555来实现H264数据流直播。视频采集模块通过FIFO队列将H264数据帧发送给live555. live555 在收到客户端的RTSP播放请求后，开始从FIFO中读取H264视频数据并通过RTSP直播出去。整个流程如下图所示：调整和修改...
android rtsp采集 服务器,android下的网络摄像头服务器——使用rtsp协议
weixin_35907524的博客
05-27 859
这里只是简单记录点东西。摄像头采集(mjpeg) ---》服务器编码(rtsp流) ---》android接收并播放网上搜了搜android 播放 rtsp视频流，有用videoview的，用ffmpeg的，有用MediaPlayer的。下了些项目源码来编译运行，有不能运行的，有运行后没有图像显示的。使用ffmpeg，在运行时，在avformat_open_input( )里出现的段错误，有说最后...
Android MediaPlayer中的RTSP（一）：RTSP简介
热门推荐
myvest的专栏
06-10 1万+
背景： 最近的项目中，遇到了使用Android的mediaplyer来进行RTSP播放的场景。对于RTSP这种流媒体协议，Android原生的播放器支持的其实并不是很好，所以有许多需要修改的地方，在此做一下记录，并作为一个了解RTSP协议的契机。 这次主要是简单介绍RTSP协议及其在mediaplyer中的层级，后面会记录下项目中遇到的情况及修改。 RTSP播放器架构 这里介绍下media...
Android NDK编译FFmpeg与RTSP视频在手机应用中的实践
本文档介绍了如何使用Android NDK（Android Native Development Kit）来编译和集成FFmpeg（一个跨平台的多媒体处理库）到Android设备上，以扩展其内置的编解码器功能，特别是在处理RTSP（Real-Time Streaming ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值