freeswitch mrcp 源码分析--event事件产生

最新推荐文章于 2024-09-14 08:18:07 发布
最新推荐文章于 2024-09-14 08:18:07 发布
阅读量3.3k 收藏 2
点赞数 1
分类专栏： freeswitch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luozirong/article/details/78881825
版权

event事件的构建主要在speech_thread（）函数里面。

static void *SWITCH_THREAD_FUNC speech_thread(switch_thread_t *thread, void *obj)
{
    struct speech_thread_handle *sth = (struct speech_thread_handle *) obj;
    switch_channel_t *channel = switch_core_session_get_channel(sth->session);
    switch_asr_flag_t flags = SWITCH_ASR_FLAG_NONE;
    switch_status_t status;
    switch_event_t *event;

    switch_thread_cond_create(&sth->cond, sth->pool);
    switch_mutex_init(&sth->mutex, SWITCH_MUTEX_NESTED, sth->pool);

    if (switch_core_session_read_lock(sth->session) != SWITCH_STATUS_SUCCESS) {
        sth->ready = 0;
        return NULL;
    }

    switch_mutex_lock(sth->mutex);

    sth->ready = 1;

    while (switch_channel_up_nosig(channel) && !switch_test_flag(sth->ah, SWITCH_ASR_FLAG_CLOSED)) {
        char *xmlstr = NULL;
        switch_event_t *headers = NULL;

        switch_thread_cond_wait(sth->cond, sth->mutex);

        if (switch_channel_down_nosig(channel) || switch_test_flag(sth->ah, SWITCH_ASR_FLAG_CLOSED)) {
            break;
        }

        if (switch_core_asr_check_results(sth->ah, &flags) == SWITCH_STATUS_SUCCESS) {

            status = switch_core_asr_get_results(sth->ah, &xmlstr, &flags);

            if (status != SWITCH_STATUS_SUCCESS && status != SWITCH_STATUS_BREAK) {
                goto done;
            } else if (status == SWITCH_STATUS_SUCCESS) {
                /* Try to fetch extra information for this result, the return value doesn't really matter here - it's just optional data. */
                switch_core_asr_get_result_headers(sth->ah, &headers, &flags);
            }

            if (status == SWITCH_STATUS_SUCCESS && switch_true(switch_channel_get_variable(channel, "asr_intercept_dtmf"))) {
                const char *p;

                if ((p = switch_stristr("<input>", xmlstr))) {
                    p += 7;
                }

                while (p && *p) {
                    char c;

                    if (*p == '<') {
                        break;
                    }

                    if (!strncasecmp(p, "pound", 5)) {
                        c = '#';
                        p += 5;
                    } else if (!strncasecmp(p, "hash", 4)) {
                        c = '#';
                        p += 4;
                    } else if (!strncasecmp(p, "star", 4)) {
                        c = '*';
                        p += 4;
                    } else if (!strncasecmp(p, "asterisk", 8)) {
                        c = '*';
                        p += 8;
                    } else {
                        c = *p;
                        p++;
                    }

                    if (is_dtmf(c)) {
                        switch_dtmf_t dtmf = {0};
                        dtmf.digit = c;
                        dtmf.duration = switch_core_default_dtmf_duration(0);
                        dtmf.source = SWITCH_DTMF_INBAND_AUDIO;
                        switch_log_printf(SWITCH_CHANNEL_CHANNEL_LOG(channel), SWITCH_LOG_DEBUG, "Queue speech detected dtmf %c\n", c);
                        switch_channel_queue_dtmf(channel, &dtmf);
                    }

                }
                switch_ivr_resume_detect_speech(sth->session);
            }

            if (switch_event_create(&event, SWITCH_EVENT_DETECTED_SPEECH) == SWITCH_STATUS_SUCCESS) {
                if (status == SWITCH_STATUS_SUCCESS) {
                    switch_event_add_header_string(event, SWITCH_STACK_BOTTOM, "Speech-Type", "detected-speech");

                    if (headers) {
                        switch_event_merge(event, headers);
                    }

                    switch_event_add_body(event, "%s", xmlstr);
                } else {
                    switch_event_add_header_string(event, SWITCH_STACK_BOTTOM, "Speech-Type", "begin-speaking");
                }

                if (switch_test_flag(sth->ah, SWITCH_ASR_FLAG_FIRE_EVENTS)) {
                    switch_event_t *dup;

                    if (switch_event_dup(&dup, event) == SWITCH_STATUS_SUCCESS) {
                        switch_channel_event_set_data(channel, dup);
                        switch_event_fire(&dup);
                    }

                }

                if (switch_core_session_queue_event(sth->session, &event) != SWITCH_STATUS_SUCCESS) {
                    switch_log_printf(SWITCH_CHANNEL_CHANNEL_LOG(channel), SWITCH_LOG_ERROR, "Event queue failed!\n");
                    switch_event_add_header_string(event, SWITCH_STACK_BOTTOM, "delivery-failure", "true");
                    switch_event_fire(&event);
                }
            }

            switch_safe_free(xmlstr);

            if (headers) {
                switch_event_destroy(&headers);
            }
        }
    }
  done:

    if (switch_event_create(&event, SWITCH_EVENT_DETECTED_SPEECH) == SWITCH_STATUS_SUCCESS) {
        switch_event_add_header_string(event, SWITCH_STACK_BOTTOM, "Speech-Type", "closed");
        if (switch_test_flag(sth->ah, SWITCH_ASR_FLAG_FIRE_EVENTS)) {
            switch_event_t *dup;

            if (switch_event_dup(&dup, event) == SWITCH_STATUS_SUCCESS) {
                switch_channel_event_set_data(channel, dup);
                switch_event_fire(&dup);
            }

        }

        if (switch_core_session_queue_event(sth->session, &event) != SWITCH_STATUS_SUCCESS) {
            switch_log_printf(SWITCH_CHANNEL_CHANNEL_LOG(channel), SWITCH_LOG_ERROR, "Event queue failed!\n");
            switch_event_add_header_string(event, SWITCH_STACK_BOTTOM, "delivery-failure", "true");
            switch_event_fire(&event);
        }
    }

    switch_mutex_unlock(sth->mutex);
    switch_core_session_rwunlock(sth->session);

    return NULL;
}

可以看到里面是一个while循环，会阻塞在sth->cond这个信号了里面。在对应的session读取完一帧数据后会产生sth->cond这个信号量。这个信号量最后是在speech_callback里面产生的。详细的产生过程这里就不进行介绍。不过本人通过gdb调试将他的调用栈打了出来，可以自己分析一下。

#0  speech_callback (bug=0x7f7840125f68, user_data=0x7f7840135ce8, type=<optimized out>) at src/switch_ivr_async.c:4549
#1  0x00007f788a3bb9e7 in switch_core_session_read_frame (session=session@entry=0x7f7840051608, frame=frame@entry=0x7f7883fae068, flags=flags@entry=0, stream_id=stream_id@entry=0) at src/switch_core_io.c:742
#2  0x00007f788a427361 in audio_bridge_thread (obj=obj@entry=0x7f784012c8a0, thread=0x0) at src/switch_ivr_bridge.c:686
#3  0x00007f788a4294d5 in switch_ivr_multi_threaded_bridge (session=0x7f7840051608, peer_session=0x7f784008d258, input_callback=<optimized out>, session_data=<optimized out>, peer_session_data=0x7f784002df40)
    at src/switch_ivr_bridge.c:1616
#4  0x00007f788a48c001 in bridge (session_a=..., session_b=...) at src/switch_cpp.cpp:1420
#5  0x00007f783ee89461 in _wrap_bridge (L=0x7f7840003b40) at mod_lua_wrap.cpp:7791
#6  0x00007f783ec4b328 in luaD_precall () from /lib64/liblua-5.1.so
#7  0x00007f783ec55e7f in luaV_execute () from /lib64/liblua-5.1.so
#8  0x00007f783ec4b73d in luaD_call () from /lib64/liblua-5.1.so
#9  0x00007f783ec4aa6e in luaD_rawrunprotected () from /lib64/liblua-5.1.so
#10 0x00007f783ec4b8ca in luaD_pcall () from /lib64/liblua-5.1.so
#11 0x00007f783ec4744d in lua_pcall () from /lib64/liblua-5.1.so
#12 0x00007f783ee765e2 in docall (L=0x7f7840003b40, narg=0, nresults=0, perror=0, fatal=1) at mod_lua.cpp:92
#13 0x00007f783ee76bdd in lua_parse_and_execute (L=L@entry=0x7f7840003b40, input_code=<optimized out>, session=session@entry=0x0) at mod_lua.cpp:195
#14 0x00007f783ee76c77 in lua_thread_run (thread=<optimized out>, obj=0x7f7840004c40) at mod_lua.cpp:222
#15 0x00007f788a668210 in dummy_worker (opaque=0x7f7840004f48) at threadproc/unix/thread.c:151
#16 0x00007f7888479dc5 in start_thread () from /lib64/libpthre

回到speech_thread函数
进程被唤醒后会执行switch_core_asr_check_results（）这个函数，去检查是否有识别结果数据。

SWITCH_DECLARE(switch_status_t) switch_core_asr_check_results(switch_asr_handle_t *ah, switch_asr_flag_t *flags)
{
    switch_assert(ah != NULL);

    return ah->asr_interface->asr_check_results(ah, flags);
}

asr_interface是个switch_asr_interface_t结构体指针，也是在recog_load（）里面赋值的。

    asr_interface->interface_name = MOD_UNIMRCP;
    asr_interface->asr_open = recog_asr_open;
    asr_interface->asr_load_grammar = recog_asr_load_grammar;
    asr_interface->asr_unload_grammar = recog_asr_unload_grammar;
    asr_interface->asr_enable_grammar = recog_asr_enable_grammar;
    asr_interface->asr_disable_grammar = recog_asr_disable_grammar;
    asr_interface->asr_disable_all_grammars = recog_asr_disable_all_grammars;
    asr_interface->asr_close = recog_asr_close;
    asr_interface->asr_feed = recog_asr_feed;
    asr_interface->asr_feed_dtmf = recog_asr_feed_dtmf;
    asr_interface->asr_resume = recog_asr_resume;
    asr_interface->asr_pause = recog_asr_pause;
    asr_interface->asr_check_results = recog_asr_check_results;
    asr_interface->asr_get_results = recog_asr_get_results;
    asr_interface->asr_get_result_headers = recog_asr_get_result_headers;
    asr_interface->asr_start_input_timers = recog_asr_start_input_timers;
    asr_interface->asr_text_param = recog_asr_text_param;
    asr_interface->asr_numeric_param = recog_asr_numeric_param;
    asr_interface->asr_float_param = recog_asr_float_param;

所以其实调用的是recog_asr_check_results（）。

static switch_status_t recog_asr_check_results(switch_asr_handle_t *ah, switch_asr_flag_t *flags)
{
    speech_channel_t *schannel = (speech_channel_t *) ah->private_info;
    return recog_channel_check_results(schannel);
}

static switch_status_t recog_channel_check_results(speech_channel_t *schannel)
{
    switch_status_t status = SWITCH_STATUS_SUCCESS;
    recognizer_data_t *r;
    switch_mutex_lock(schannel->mutex);
    r = (recognizer_data_t *) schannel->data;
    if (!zstr(r->result)) {
        switch_log_printf(SWITCH_CHANNEL_UUID_LOG(schannel->session_uuid), SWITCH_LOG_DEBUG, "(%s) SUCCESS, have result\n", schannel->name);
    } else if (r->start_of_input == START_OF_INPUT_RECEIVED) {
        switch_log_printf(SWITCH_CHANNEL_UUID_LOG(schannel->session_uuid), SWITCH_LOG_DEBUG, "(%s) SUCCESS, start of input\n", schannel->name);
    } else {
        status = SWITCH_STATUS_FALSE;
    }

    switch_mutex_unlock(schannel->mutex);
    return status;
}

在上一篇博文freeswitch mrcp 源码分析–数据接收（下）里面，我们说过：识别结果的具体内容放到recognizer_data_t的result中。所以当有识别结果的时候：r->result 不为空，所以函数的返回是SWITCH_STATUS_SUCCESS。

if (switch_event_create(&event, SWITCH_EVENT_DETECTED_SPEECH) == SWITCH_STATUS_SUCCESS) {
                if (status == SWITCH_STATUS_SUCCESS) {
                    switch_event_add_header_string(event, SWITCH_STACK_BOTTOM, "Speech-Type", "detected-speech");

                    if (headers) {
                        switch_event_merge(event, headers);
                    }

                    switch_event_add_body(event, "%s", xmlstr);
                } else {
                    switch_event_add_header_string(event, SWITCH_STACK_BOTTOM, "Speech-Type", "begin-speaking");
                }

                if (switch_test_flag(sth->ah, SWITCH_ASR_FLAG_FIRE_EVENTS)) {
                    switch_event_t *dup;

                    if (switch_event_dup(&dup, event) == SWITCH_STATUS_SUCCESS) {
                        switch_channel_event_set_data(channel, dup);
                        switch_event_fire(&dup);
                    }

                }

                if (switch_core_session_queue_event(sth->session, &event) != SWITCH_STATUS_SUCCESS) {
                    switch_log_printf(SWITCH_CHANNEL_CHANNEL_LOG(channel), SWITCH_LOG_ERROR, "Event queue failed!\n");
                    switch_event_add_header_string(event, SWITCH_STACK_BOTTOM, "delivery-failure", "true");
                    switch_event_fire(&event);
                }
            }

            switch_safe_free(xmlstr);

            if (headers) {
                switch_event_destroy(&headers);
            }

接下来就是顺理成章的数据组装了，先调用switch_event_create（）创建fs事件：

switch_event_create(&event, SWITCH_EVENT_DETECTED_SPEECH)

然后switch_event_add_header_string（）和switch_event_merge（）添加事件的头部信息：

switch_event_add_header_string(event, SWITCH_STACK_BOTTOM, "Speech-Type", "detected-speech");

                    if (headers) {
                        switch_event_merge(event, headers);
                    }

然后调用switch_event_add_body（）添加消息体。

switch_event_add_body(event, "%s", xmlstr);

最后调用switch_channel_event_set_data增加通道信息，并调用switch_event_fire将事件发出去：

switch_channel_event_set_data(channel, dup);
switch_event_fire(&dup);
罗自荣
关注
专栏目录
Freeswitch通过lua 创建/订阅事件
u011563926的专栏
10-16 1060
Freeswitch通过lua创建/订阅事件 freeswitch.Event创建一个事件，然后添加内容，最后发出 event:addBody event:addHeader event:fire eg： local event = freeswitch.Event("custom", "Xugd::Quit") event:addHeader("myKey", "MyValue") event:fire() ----------------------------.
freeswitch mrcp 源码分析--数据包的发送
luozirong的专栏
01-08 3449
在MRCP 开始语音识别后会调用recog_channel_start（）函数 static switch_status_t recog_channel_start(speech_channel_t *schannel) { switch_status_t status = SWITCH_STATUS_SUCCESS; switch_hash_index_t *egk;
第十一章 ESL-通过事件控制FreeSWITCH
热门推荐
至虛極，守靜篤
09-26 1万+
通过事件提供的最底层控制机制，允许我们有效地利用工具箱，适时选择使用其中的单个工具。FreeSWITCH是一个核心交换与混合矩阵，它周围有几十个模块提供各种功能特性。 我们完全控制了所有的即时信息，这些信息组成了所有进出FreeSWITCH的通信包。同时，我们可以在适当的时候调用任何模块中的每个功能。 充分的知识和完全的控制允许我们根据项目的最小...
阿里语音识别MRCP Server插件：开启高效语音交互新纪元
最新发布
gitblog_00381的博客
09-14 389
阿里语音识别MRCP Server插件：开启高效语音交互新纪元 plugin-Alirecog 项目地址: https://gitcode.com/gh_mirrors/pl/plugin-Alirecog ...
freeswitch php事件订阅,FreeSWITCH之lua脚本事件订阅
weixin_35986494的博客
03-12 321
FreeSWITCH中通过订阅事件，我们能获取到各种实时信息，进而可以对通话进行精确的控制。在lua中我们既能方便地订阅各种事件，也能自己生成所需的事件。相关接口简要说明freeswitch.Event创建一个事件，然后添加内容，最后发出event:addBodyevent:addHeaderevent:firefreeswitch.EventConsumer：订阅一个事件，获取内容event:g...
Freeswitch订阅事件打印程序
11-07
程序功能简介： 1、在Freeswitch运行过程中将需要的订阅事件输出到屏幕和文件中。 2、可以根据需求添加订阅的事件。 3、多文件存储消息日志，避免日志文件太大的尴尬。 实现背景： 在主程序中打印订阅日志的话会影响程序性能，而且日志量过大不方便查看。
freeswitch mrcp 源码分析--数据接收（上）
luozirong的专栏
12-22 2505
apt_poller_tas.apt_poller_task_run–> mrcp_client_connection.mrcp_client_poller_signal_process–> sendrecv.apr_socket_recv –> mrcp_stream.mrcp_parser_run –> mrcp_client_connection.mrcp_client_message_
freeswitch mrcp 源码分析--数据接收（下）
luozirong的专栏
12-22 3416
在前两篇我们介绍了mrcp接收后的处理，最后会调用apr_queue_push扔到消息队列里面。 对应的，在apt_consumer_task.apt_consumer_task_run（）中会循环调用pr_queue.apr_queue_pop（）从队列里面取出数据：apt_consumer_task.apt_consumer_task_run –> apr_queue.apr_queue_p
freeswitch-1.10.0.-release.tar.gz
06-30
2. **解压源码**：使用`tar -zxvf freeswitch-1.10.0-release.tar.gz`命令解压源代码到当前目录。 3. **配置编译**：进入解压后的目录，运行`./configure`脚本来配置编译选项。为了添加x264支持，需确保x264库已...
【打包下载】freeswitch-sounds-en-us-callie-32000-1.0.52.tar等.zip
04-30
1、freeswitch-sounds-en-us-callie-8000-1.0.52.tar.gz 2、freeswitch-sounds-en-us-callie-16000-1.0.52.tar.gz 3、freeswitch-sounds-en-us-callie-32000-1.0.52.tar.gz 4、freeswitch-sounds-en-us-callie-48000...
freeswitch php事件订阅,FreeSWITCH生成事件以及监听事件的方法
weixin_39643338的博客
03-12 796
本文描述了生成FreeSWITCH的事件的几种方式，这里记录下，也方便我以后查阅。操作系统：debian8.5_x64freeswitch版本：1.6.8在FreeSWITCH的代码中加入事件产生内置事件(以SWITCH_EVENT_MODULE_LOAD为例)：switch_event_t *event;if (switch_event_create(&event, SWITCH_EVE...
FreeSWITCH之lua脚本事件订阅
农家小舍
08-12 4011
FreeSWITCH中通过订阅事件，我们能获取到各种实时信息，进而可以对通话进行精确的控制。在lua中我们既能方便地订阅各种事件，也能自己生成所需的事件。 相关接口简要说明 freeswitch.Event创建一个事件，然后添加内容，最后发出 event:addBody event:addHeader event:fire freeswitch.Eve...
FreeSWITCH dump_event.lua
fs交流的博客
03-25 501
FreeSWITCH dump_event.lua
【FreeSwitch开发实践】自定义事件介绍与使用示例
xiao2macf的专栏
08-07 1627
我们在之前章节介绍过ESL自定义事件订阅《【FreeSwitch开发实践】 ESL简介》，本篇介绍下在FreeSwitch中编写自定义模块，并定义自定义事件，然后发送事件、和用fs_cli中进行事件订阅。自定义事件，是在FreeSwitch标准事件如Answer、Hangup事件之外，用于扩展事件，在实际业务中，可通过自定义事件将一些重要的结果，如ASR的识别结果、空号识别检测结果，通过ESL传输出来。.....................
语音软交换之Freeswitch
u010520948的专栏
07-07 1277
1.1 Freeswitch了解 FreeSWITCH 是一个电话的软交换解决方案，包括一个软电话和软交换机用以提供语音和聊天的产品驱动。FreeSWITCH 可以用作交换机引擎、PBX、多媒体网关以及多媒体服务器等。 FreeSWITCH 可以通过 XML、脚本实现基本的 IVR 功能，再配合 mod_unimrcp 模块与 MRCP 服务器的 TTS、ASR资源进行通信，即可实现一个简单的...
基于FreeSwitch插件实现静音检测（VAD）和语音识别（ASR）
shanghaimoon的专栏
07-04 4565
基于FreeSwitch插件实现的静音检测和语音识别功能
FreeSwitch源码源码系列-play_and_detect_speech (FreeSWITCH语音打断的实现)
qq1779062842的博客
06-01 5314
其实在很久之前这个app函数我就已经用过，可是这个语音打断实在是不太敢用，实用性不高，打断其实不准确，但作为一个打断方案，还是可以学习一下，以及freeswitch是如何实现的，当你看到最后之后，你就知道为何这个app不好用了 和之前一样，我们找到这个app的注册函数 首先我们先看这个函数的整个逻辑吧 这里其实也没做啥事，就是解析参数，做了错误判断 其中这个app函数的错误响应有： “USAGE ERROR” （使用错误） “GRAMMAR ERROR” （语法错误） “ASR INIT ERROR” （
freeswitch移植到arm--交叉编译
10-19
freeswitch是一个功能强大的开源电话交换平台，可以用于构建语音、视频和聊天应用程序。想要将freeswitch移植到ARM架构下进行交叉编译，可以按照以下步骤进行。 首先，确保你有一个可以运行Linux操作系统的ARM开发板或设备。ARM架构有许多不同的变种，所以你需要选择适合你设备的版本。 其次，安装交叉编译工具链。交叉编译工具链包含用于在一种架构上生成另一种架构的二进制文件的工具。你需要为ARM架构下载并安装适当的交叉编译工具链。 然后，获取freeswitch的源代码。你可以从官方网站上下载最新的源代码包或从版本控制系统中获取最新的开发版本。将源代码解压到你的开发环境中。 接下来，配置freeswitch的编译选项。进入freeswitch的源代码目录，执行./configure命令来配置编译选项。在configure命令中，使用--host选项指定目标架构为ARM，指定交叉编译工具链的路径。 然后，进行编译。运行make命令来编译freeswitch。这可能需要一些时间，因为编译freeswitch可能涉及到许多依赖库的编译和链接。 最后，将编译后的二进制文件和依赖库安装到ARM设备中。使用make install命令来安装freeswitch到指定的目录。 完成上述步骤后，你就成功地将freeswitch移植到ARM架构中，并进行了交叉编译。现在，你可以在ARM设备上运行freeswitch，并构建语音、视频和聊天应用程序了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值