mediastreamer使用教程

最新推荐文章于 2024-06-18 09:44:22 发布
最新推荐文章于 2024-06-18 09:44:22 发布
阅读量970 收藏 4
点赞数
文章标签： 数据结构与算法 网络
原文链接：http://www.cnblogs.com/QUSIR/p/6110085.html
版权

mediastreamer使用教程

1.各个函数功能简介

ms_filter_destroy 释放filter资源

ms_ticker_destroy释放ticker

说明：ticker为定时器线程，每隔10ms执行一次

ms_filter_new创建filter，传进参数为filter的ID

ms_connection_helper_start拿到filter链接起始位置

ms_connection_helper_link链接filter

ms_filter_link链接filter

ms_ticker_new创建ticker

ticker说明：

ticker是属于一个线程不能够运行两个阻塞式的过程，比如socks的发送与接收，必须将
发送和接收放在filter线程里面。

ms_ticker_set_name设置ticker名称

ms_ticker_attach将ticker附加到线程中

ms_ticker_detach去掉ticker

ms_connection_helper_unlink去掉filter链接

ms_filter_unlink 去掉filter链接

ms_new filter数据结构创建

ms_free 数据结构数据释放

ms_queue_get(f->inpputs[0])获取filter数据

msgdsize获取filter里面数据长度

ms_queue_put(f->outputs[0],om)往filter里面塞数据

freemsg释放filter数据

ms_thread_join在filter里面创建线程

ms_filter_call_method往filter里面发送数据

2.创建filter过程

2.1在Allfilters.h里面添加filter的ID

2.2在Alldescs.h里面添加filter结构体变量

2.3在实现filter的源文件里面添加相关头文件

#include "msfilter.h"
#include "msticker.h"

2.4.一个标准的filter过程

#include "msfilter.h"
#include "msticker.h"

static void enc_init(MSFilter *f){

}

static void enc_uninit(MSFilter *f){

}

static void enc_preprocess(MSFilter *f)
{
}

static void enc_process(MSFilter *f){


}

static void enc_postprocess(MSFilter *f){
}

static MSFilterMethod enc_methods[]={
        {0,NULL}
};

MSFilterDesc ms_amr_enc_desc={
        MS_AMR_ENCODER_ID, //filter ID
        "amrEnc",  //filter名称
        "amr encoder",
        MS_FILTER_ENCODER,  //filter类型MS_FILTER_OTHER 其他,
                            //MS_FILTER_ENCODER 编码器,
                            //MS_FILTER_DECODER 解码器
        "amr",
        1,
        1,
        enc_init,   //初始化操作
        enc_preprocess,  //预初始化操作
        enc_process,   //处理过程
        enc_postprocess,  //预结束操作
        enc_uninit,  //结束操作
        enc_methods  //程序模块方法，用于参数传递
};


static void dec_init(MSFilter *f){

}

static void dec_uninit(MSFilter *f){

}

static void dec_preprocess(MSFilter *f){
}

static void dec_postprocess(MSFilter *f){
}

static void dec_process(MSFilter *f){
    
}

static MSFilterMethod dec_methods[]={
        {0,NULL}
};

MSFilterDesc ms_amr_dec_desc={
        MS_AMR_DECODER_ID,
        "amrDec",
        "amr decoder",
        MS_FILTER_DECODER,
        "amr",
        1,
        1,
        dec_init,
        dec_preprocess,
        dec_process,
        dec_postprocess,
        dec_uninit,
        dec_methods
};

MS_FILTER_DESC_EXPORT(ms_amr_dec_desc)
MS_FILTER_DESC_EXPORT(ms_amr_enc_desc)

3.替换编码器

将原来silk编码器换为amr编码器

3.1创建amr的filter

stream->decoder=ms_filter_new(MS_AMR_DECODER_ID);

3.2链接编码filter

ms_filter_link(stream->tcpRecv,0,stream->decoder,0);

4.filter创建注意事项

4.1 filter里面数据流要对应

MSFilterDesc ms_amr_dec_desc={
        MS_AMR_DECODER_ID,
        "amrDec",
        "amr decoder",
        MS_FILTER_DECODER,
        "amr",
        1,  //进
        1,  //出
        dec_init,
        dec_preprocess,
        dec_process,
        dec_postprocess,
        dec_uninit,
        dec_methods
};

以上是编码器filter,是一进一出，原始数据进去出来编码后的数据。

MSFilterDesc ms_tcpclient_send_desc={
        MS_TCP_SEND_ID,
        "TcpClientSend",
        "TcpClient_Send",
        MS_FILTER_OTHER,
        "tcpclient",
        1,  //进
        0,  //出
        tcp_send_init,
        tcp_send_preprocess,
        tcp_send_process,
        tcp_send_postprocess,
        tcp_send_uninit,
        tcpclient_send_methods
};

以上是TCP数据发送filter，只有进没有出，数据进来之后都发送数据都发送出去了

4.2 filter里面new的结构体数据要记得free

5.例子：一个音频流启动过程

#include "mediastreamer/audiostream.h"
#include "rtpsession.h"
#include "mediastreamer/msrtp.h"
#include "mediastreamer/mssndcard.h"
#include "mediastreamer/msvolume.h"
#include"mediastreamer/TcpClientFilter.h"
#include <signal.h>
#include <stdio.h>

static ms_mutex_t stream_mutex;

//初始化结构体数据
AudioStream* audio_stream_new() {
    AudioStream *stream = (AudioStream *)ms_new0 (AudioStream, 1);
    return stream;
}
//释放音频流
void audio_stream_free(AudioStream *stream) {

    if(stream->source!=NULL)
        ms_filter_destroy(stream->source);
    if(stream->encoder!=NULL)
        ms_filter_destroy(stream->encoder);

        if(stream->tcpSend!=NULL)
                ms_filter_destroy(stream->tcpSend);
        if(stream->tcpRecv!=NULL)
                ms_filter_destroy(stream->tcpRecv);
        if(stream->dest!=NULL)
                ms_filter_destroy(stream->dest);

        if(stream->ticker!=NULL)
        {
                printf("ms_ticker_destroy begin r 41\n");
        ms_ticker_destroy(stream->ticker);
                printf("ms_ticker_destroy end  r43 audiostream.c \n");
        }


    ms_free(stream);
        ms_mutex_destroy(&stream_mutex);
        printf("ms_free(stream) end \n");
}

#define payload_type_set_number2(pt,n)  (pt)->user_data=(void*)((long)n);
static void dp_set_payload_type(PayloadType *const_pt, int number, const char *recv_fmtp)
{
    payload_type_set_number2(const_pt, number);

    rtp_profile_set_payload(&av_profile,number,const_pt);
}
//启动音频流
int audio_stream_start(AudioStream *stream,char* SeverIp, int SeverPort, char (*localSessionID)[4], char (*remoteSessioID)[4]){


        ms_mutex_init(&stream_mutex,NULL);
        ms_mutex_lock(&stream_mutex);
    if(stream==NULL)
        {
            ms_mutex_unlock(&stream_mutex);
            return -1;
        }

        stream->decoder=ms_filter_new(MS_AMR_DECODER_ID);
        if(stream->decoder==NULL){
                        return -1;
        }

        stream->encoder=ms_filter_new(MS_AMR_ENCODER_ID);
        if(stream->encoder==NULL){
                        return -2;
        }

        stream->tcpSend=ms_filter_new(MS_TCP_SEND_ID);
        if(stream->tcpSend==NULL){
                ms_mutex_unlock(&stream_mutex);
                return -9;
        }

        ms_filter_call_method(stream->tcpSend,MS_TCP_SEND_SET_LOCAL_FRAG,localSessionID[0]);
        ms_filter_call_method(stream->tcpSend,MS_TCP_SEND_SET_REMOTE_FRAG,remoteSessioID[0]);
        if(ms_filter_call_method(stream->tcpSend,MS_TCP_SEND_LOGIN,0)!=0){
                printf("audiostream.c::audio_stream_start_call - TcpSendFilter fail to login\n");
                ms_mutex_unlock(&stream_mutex);
                return -19;
        }

        stream->tcpRecv=ms_filter_new(MS_TCP_READ_ID);
        if(stream->tcpRecv==NULL){
                ms_mutex_unlock(&stream_mutex);
                return -10;
        }
        printf("audiostream.c::audio_stream_start_call - local:%02x%02x%02x%02x remote:%02x%02x%02x%02x",localSessionID[1][0]&0xff,localSessionID[1][1]&0xff,localSessionID[1][2]&0xff,localSessionID[1][3]&0xff,
                  remoteSessioID[1][0]&0xff,remoteSessioID[1][1]&0xff,remoteSessioID[1][2]&0xff,remoteSessioID[1][3]&0xff);
        ms_filter_call_method(stream->tcpRecv,MS_TCP_READ_SET_LOCAL_FRAG,localSessionID[1]);
        ms_filter_call_method(stream->tcpRecv,MS_TCP_READ_SET_REMOTE_FRAG,remoteSessioID[1]);
        if(ms_filter_call_method(stream->tcpRecv,MS_TCP_READ_LOGIN,0)!=0){
                printf("audiostream.c::audiio_stream_start_call - TcpReadFilter fail to login\n");
                ms_mutex_unlock(&stream_mutex);
                return -20;
        }

        stream->source=ms_filter_new(MS_LINUX_SOUND_READ_ID);
        if(stream->source==NULL){
                ms_mutex_unlock(&stream_mutex);
                return -2;
        }

        stream->dest=ms_filter_new(MS_LINUX_SOUND_WRITE_ID);
        if(stream->dest==NULL){
                ms_mutex_unlock(&stream_mutex);
                return -8;
        }

        ms_filter_link(stream->tcpRecv,0,stream->decoder,0);
        ms_filter_link(stream->decoder,0,stream->dest, 0);
        ms_filter_link(stream->source,0,stream->encoder,0);
        ms_filter_link(stream->encoder,0,stream->tcpSend,0);

        stream->ticker = ms_ticker_new();
        if(stream->ticker==NULL){
                ms_mutex_unlock(&stream_mutex);
                return -6;
        }

        ms_ticker_set_name(stream->ticker,"Audio MSTicker");

        ms_ticker_attach(stream->ticker, stream->source);

        ms_ticker_attach(stream->ticker, stream->tcpRecv);

        ms_mutex_unlock(&stream_mutex);
    return 0;
}
//关闭音频流
void audio_stream_stop(AudioStream *stream) {
        /* detach */

        ms_mutex_lock(&stream_mutex);

        int i=0;

        if(stream->ticker != NULL && stream->source!=NULL)
                ms_ticker_detach(stream->ticker, stream->source);

        if(stream->ticker != NULL && stream->tcpRecv!=NULL)
                   ms_ticker_detach(stream->ticker,stream->tcpRecv);

        if(stream->tcpRecv!=NULL && stream->decoder!=NULL)
                ms_filter_unlink(stream->tcpRecv, 0, stream->decoder, 0);


        if(stream->decoder!=NULL && stream->dest!=NULL)
                ms_filter_unlink(stream->decoder, 0, stream->dest, 0);

        if(stream->source!=NULL && stream->encoder!=NULL)
                ms_filter_unlink(stream->source, 0, stream->encoder, 0);

        if(stream->encoder!=NULL && stream->tcpSend!=NULL)
        {
                printf("ms_filter_unlink(stream->encoder, 0, stream->tcpSend, 0) \n\n");
                ms_filter_unlink(stream->encoder, 0, stream->tcpSend, 0);
        }

        /* destroy filter */
        ms_mutex_unlock(&stream_mutex);
        audio_stream_free(stream);
        printf("audio_stream_stop 10\n");
}

转载于:https://www.cnblogs.com/QUSIR/p/6110085.html

a272351355
关注
mediastreamer2 学习之开始认识它
liuxiIT的专栏
06-20 2926
What is mediastreamer2 mediastreamer2 is a powerful engine to make audio and video streams. mediastreamer2 is GPL (COPYING). Please understand the licencing details before using it! For any use of t
Linphone的mediastreamer2源码分析.doc
05-06
FILTER的解除链接用于断开FILTER之间的连接，可能在重新配置或关闭某个FILTER时使用。 3.5 **RTP发送/接收FILTER** 这些FILTER负责RTP协议的数据包发送和接收，是VoIP通信的关键部分。 3.6 **音频编解码FILTER...
mediastreamer 介绍
石头
11-01 1106
mediastreamer Mediastreamer is a portable C library that allows you to create and run audio and video streams. It is designed for any kind of voice over IP applications. It features RTP connectivity,
mediastreamer2 的简介
sphone89的专栏
07-06 5305
原文：http://www.linphone.org/eng/documentation/dev/mediastreamer2.html Mediastreamer2 是一个功能强大且小巧的流引擎，专门为音视频电话应用而开发。这个库为linphone中所有的接收、发送多媒体流提供处理，包括音/视频捕获，编码和解码，渲染。 特色 Read/Write from to an alsa d
Mediastreamer2
坚持,淡定
02-15 278
  http://www.linphone.org/eng/documentation/dev/mediastreamer2.html Mediastreamer2 - the multimedia streaming engine Mediastreamer2 is a powerful and lightweighted streaming engine sp...
开源宝藏：Mediastreamer2 —— 构建高效语音视频应用的首选工具
最新发布
gitblog_00058的博客
06-18 348
开源宝藏：Mediastreamer2 —— 构建高效语音视频应用的首选工具 项目地址:https://gitcode.com/gh_mirrors/me/mediastreamer2 项目介绍 Mediastreamer2，一个强大而轻量级的流媒体引擎，专为语音/视频电话应用设计。作为Linphone项目的核心组件，它承担着多媒体流的接收与发送重任，覆盖了从音频/视频捕获到编码解码，再到渲染的全...
mediastreamer-2.8.2
03-13
这个路径表明了mediastreamer库可能被一个名为"talk"的项目所使用，而"third_party"通常表示第三方依赖的存放位置。接下来，开发者需要对源代码进行编译，生成"mediastreamer2.lib"和"mediastreamer2.dll"这两个文件...
Mediastreamer2 源码
02-28
Mediastreamer2 是一个专为音视频通话应用设计的开源流媒体引擎，它在Linux平台上扮演着核心角色，尤其在著名的VoIP应用...通过深入理解和熟练使用 Mediastreamer2 ，开发者能够创建出高性能、低延迟的音视频通话应用。
Linphone MediaStreamer2入门.docx
02-18
2. **回声消除**：使用 speex 库以及 Android 平台上的 webrtc AEC 机制，以减少通话中的回声问题。 3. **自适应比特率控制**：根据接收的 RTCP 反馈信息自动调整编码速率，以适应网络条件变化。 4. **跨平台兼容...
mediastreamer2 dll
12-22
**mediastreamer2 DLL** 是一个用于多媒体流处理的开源库，主要应用于VoIP（Voice over Internet Protocol）服务。这个库提供了丰富的功能，允许开发者创建高质量的语音和视频通话应用。在描述中提到的 `...
mediastreamer开发手册
05-17
Mediastreamer is a library written in C that allows you to create and run audio and video streams. It is designed for any kind of voice over IP applications. It features RTP connectivity, audio codecs (Speex, iLBC, G711, GSM), video codecs (MPEG4, H263, Theora), I/O from soundcards, wav files, webcams, echo-cancelation, conferencing, and various other utilities. It has a modular design that makes it extensible through plugins. This is the media-streaming component of linphone, a GPL SIP video phone.
media streamer
05-22
Mediastreamer2 is a powerful and lightweighted streaming engine specialized for voice/video telephony applications. It is the library that is responsible for all the receiving and sending of multimedia streams in linphone, including voice/video capture, encoding and decoding, and rendering.
用osip2、eXosip2、ortp和mediastreamer写的linux下简易软电话带代码
12-30
命令行模式、可以实现注册、拨号、接听等功能 类似于linphone，但简易的多
mediastreamer2 - 多媒体流引擎
gavin的专栏
03-07 8557
原文：http://www.linphone.org/eng/documentation/dev/mediastreamer2.html Mediastreamer2 是一个功能强大且小巧的流引擎，专门为音视频电话应用而开发。 这个库为linphone中所有的接收、发送多媒体流提供处理，包括音/视频捕获，编码和解码，渲染。 特色 Read/Write from to an
mediastreamer2 android,一起启动Linphone MediaStreamer2音频和视频流
weixin_29557457的博客
05-28 482
仅使用mediastreamer2库我可以使用远程ip和端口开始音频调用，并调用audiostream.c各自的方法 .然后我也需要开始视频通话 . 所以初始化videostream.c并使用其各自的方法并为其提供表面以呈现远程和本地相机馈送 . 我能够通过远程端口和ip成功启动视频流 .但问题是我一起开始两个流 . 声音停止和视频流也停止 . 只有本地相机输入工作 .所以我有一个神奇的方法，为我...
mediastreamer2 安装使用
David的博客
05-09 656
媒体处理的执行由MSTicker对象进行调度处理，该线程每10毫秒唤醒一次，来处理其管理的所有MSFilter链中的数据。可以同时使用多个MSTicker。例如，一个用于音频过滤器、一个用于视频过滤器，或者每个处理器上运行一个。MSFilters可以连接在一起形成过滤器链。如果我们连接以上三个示例，我们将获得一个接收RTP数据包的处理链，对其进行解码并将未压缩的结果写入wav文件。每个处理实例都包含在MSFilter对象中。MSFilter的输入和/或输出可用于连接其他MSFilters。
Linphone之Mediastreamer2分析
热门推荐
计算机视觉算法、工程、产品
05-27 1万+
最近在算法移植中涉及到Linphone，于是开始研究Linphone。首先在Ubuntu下编译成功Linphone，然后开始研究源码，结合网上的资料，写了下面的学习笔记，其中参考的网上资料，在文中添加上链接。 Linphone之Mediastreamer2分析 一、Linphone中流媒体处理结构 分为2个部分MEDIASTREAMER2和ORTP MEDIASTREAMER2**负责媒体流的
mediastreamer2 和 gstreamer在嵌入式领域应用
z3256789的博客
02-12 1519
流媒体就是指通过网络或者USB等接口实时播放录制视频的一整套多媒体框架技术。这类框架具体实现有gstreamer、ffmpeg、mediastreamer2（底层可以调用ffmpeg） 等，或者自己实现的一套私有的框架等等。 mediastreamer2 和 gstreamer是业界常用的两种框架。作为嵌入式软件工程师关注的主要是移植（特别是与底层的接口）、使用。mediastreamer2 和 gstreamer本体移植并不困难按照教程嵌入式编译即可，难的是与底层的接口。mediastreamer2 和
IOS开发问题汇总
ch_soft的专栏
10-27 1170
1.运行即崩溃，log下面提示： Couldn't register com.myApp.debug with the bootstrap server. Error: unknown error code. This generally means that another instance of this process was already running or is hung in
MEDIASTREAMER2框架深度解析与扩展指南
"MEDIASTREAMER2分析研究" 这篇文章主要探讨了MEDIASTREAMER2框架的详细信息，包括其目的、总体架构、功能描述、编译流程以及二次扩展等方面。MEDIASTREAMER2是一个用于处理音视频流的开源库，尤其适用于VoIP...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值