freeswitch mrcp 源码分析--event事件产生

最新推荐文章于 2024-01-23 21:11:36 发布
最新推荐文章于 2024-01-23 21:11:36 发布
阅读量3.3k 收藏 2
点赞数 1
分类专栏： freeswitch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luozirong/article/details/78881825
版权

event事件的构建主要在speech_thread（）函数里面。

static void *SWITCH_THREAD_FUNC speech_thread(switch_thread_t *thread, void *obj)
{
    struct speech_thread_handle *sth = (struct speech_thread_handle *) obj;
    switch_channel_t *channel = switch_core_session_get_channel(sth->session);
    switch_asr_flag_t flags = SWITCH_ASR_FLAG_NONE;
    switch_status_t status;
    switch_event_t *event;

    switch_thread_cond_create(&sth->cond, sth->pool);
    switch_mutex_init(&sth->mutex, SWITCH_MUTEX_NESTED, sth->pool);

    if (switch_core_session_read_lock(sth->session) != SWITCH_STATUS_SUCCESS) {
        sth->ready = 0;
        return NULL;
    }

    switch_mutex_lock(sth->mutex);

    sth->ready = 1;

    while (switch_channel_up_nosig(channel) && !switch_test_flag(sth->ah, SWITCH_ASR_FLAG_CLOSED)) {
        char *xmlstr = NULL;
        switch_event_t *headers = NULL;

        switch_thread_cond_wait(sth->cond, sth->mutex);

        if (switch_channel_down_nosig(channel) || switch_test_flag(sth->ah, SWITCH_ASR_FLAG_CLOSED)) {
            break;
        }

        if (switch_core_asr_check_results(sth->ah, &flags) == SWITCH_STATUS_SUCCESS) {

            status = switch_core_asr_get_results(sth->ah, &xmlstr, &flags);

            if (status != SWITCH_STATUS_SUCCESS && status != SWITCH_STATUS_BREAK) {
                goto done;
            } else if (status == SWITCH_STATUS_SUCCESS) {
                /* Try to fetch extra information for this result, the return value doesn't really matter here - it's just optional data. */
                switch_core_asr_get_result_headers(sth->ah, &headers, &flags);
            }

            if (status == SWITCH_STATUS_SUCCESS && switch_true(switch_channel_get_variable(channel, "asr_intercept_dtmf"))) {
                const char *p;

                if ((p = switch_stristr("<input>", xmlstr))) {
                    p += 7;
                }

                while (p && *p) {
                    char c;

                    if (*p == '<') {
                        break;
                    }

                    if (!strncasecmp(p, "pound", 5)) {
                        c = '#';
                        p += 5;
                    } else if (!strncasecmp(p, "hash", 4)) {
                        c = '#';
                        p += 4;
                    } else if (!strncasecmp(p, "star", 4)) {
                        c = '*';
                        p += 4;
                    } else if (!strncasecmp(p, "asterisk", 8)) {
                        c = '*';
                        p += 8;
                    } else {
                        c = *p;
                        p++;
                    }

                    if (is_dtmf(c)) {
                        switch_dtmf_t dtmf = {0};
                        dtmf.digit = c;
                        dtmf.duration = switch_core_default_dtmf_duration(0);
                        dtmf.source = SWITCH_DTMF_INBAND_AUDIO;
                        switch_log_printf(SWITCH_CHANNEL_CHANNEL_LOG(channel), SWITCH_LOG_DEBUG, "Queue speech detected dtmf %c\n", c);
                        switch_channel_queue_dtmf(channel, &dtmf);
                    }

                }
                switch_ivr_resume_detect_speech(sth->session);
            }

            if (switch_event_create(&event, SWITCH_EVENT_DETECTED_SPEECH) == SWITCH_STATUS_SUCCESS) {
                if (status == SWITCH_STATUS_SUCCESS) {
                    switch_event_add_header_string(event, SWITCH_STACK_BOTTOM, "Speech-Type", "detected-speech");

                    if (headers) {
                        switch_event_merge(event, headers);
                    }

                    switch_event_add_body(event, "%s", xmlstr);
                } else {
                    switch_event_add_header_string(event, SWITCH_STACK_BOTTOM, "Speech-Type", "begin-speaking");
                }

                if (switch_test_flag(sth->ah, SWITCH_ASR_FLAG_FIRE_EVENTS)) {
                    switch_event_t *dup;

                    if (switch_event_dup(&dup, event) == SWITCH_STATUS_SUCCESS) {
                        switch_channel_event_set_data(channel, dup);
                        switch_event_fire(&dup);
                    }

                }

                if (switch_core_session_queue_event(sth->session, &event) != SWITCH_STATUS_SUCCESS) {
                    switch_log_printf(SWITCH_CHANNEL_CHANNEL_LOG(channel), SWITCH_LOG_ERROR, "Event queue failed!\n");
                    switch_event_add_header_string(event, SWITCH_STACK_BOTTOM, "delivery-failure", "true");
                    switch_event_fire(&event);
                }
            }

            switch_safe_free(xmlstr);

            if (headers) {
                switch_event_destroy(&headers);
            }
        }
    }
  done:

    if (switch_event_create(&event, SWITCH_EVENT_DETECTED_SPEECH) == SWITCH_STATUS_SUCCESS) {
        switch_event_add_header_string(event, SWITCH_STACK_BOTTOM, "Speech-Type", "closed");
        if (switch_test_flag(sth->ah, SWITCH_ASR_FLAG_FIRE_EVENTS)) {
            switch_event_t *dup;

            if (switch_event_dup(&dup, event) == SWITCH_STATUS_SUCCESS) {
                switch_channel_event_set_data(channel, dup);
                switch_event_fire(&dup);
            }

        }

        if (switch_core_session_queue_event(sth->session, &event) != SWITCH_STATUS_SUCCESS) {
            switch_log_printf(SWITCH_CHANNEL_CHANNEL_LOG(channel), SWITCH_LOG_ERROR, "Event queue failed!\n");
            switch_event_add_header_string(event, SWITCH_STACK_BOTTOM, "delivery-failure", "true");
            switch_event_fire(&event);
        }
    }

    switch_mutex_unlock(sth->mutex);
    switch_core_session_rwunlock(sth->session);

    return NULL;
}

可以看到里面是一个while循环，会阻塞在sth->cond这个信号了里面。在对应的session读取完一帧数据后会产生sth->cond这个信号量。这个信号量最后是在speech_callback里面产生的。详细的产生过程这里就不进行介绍。不过本人通过gdb调试将他的调用栈打了出来，可以自己分析一下。

#0  speech_callback (bug=0x7f7840125f68, user_data=0x7f7840135ce8, type=<optimized out>) at src/switch_ivr_async.c:4549
#1  0x00007f788a3bb9e7 in switch_core_session_read_frame (session=session@entry=0x7f7840051608, frame=frame@entry=0x7f7883fae068, flags=flags@entry=0, stream_id=stream_id@entry=0) at src/switch_core_io.c:742
#2  0x00007f788a427361 in audio_bridge_thread (obj=obj@entry=0x7f784012c8a0, thread=0x0) at src/switch_ivr_bridge.c:686
#3  0x00007f788a4294d5 in switch_ivr_multi_threaded_bridge (session=0x7f7840051608, peer_session=0x7f784008d258, input_callback=<optimized out>, session_data=<optimized out>, peer_session_data=0x7f784002df40)
    at src/switch_ivr_bridge.c:1616
#4  0x00007f788a48c001 in bridge (session_a=..., session_b=...) at src/switch_cpp.cpp:1420
#5  0x00007f783ee89461 in _wrap_bridge (L=0x7f7840003b40) at mod_lua_wrap.cpp:7791
#6  0x00007f783ec4b328 in luaD_precall () from /lib64/liblua-5.1.so
#7  0x00007f783ec55e7f in luaV_execute () from /lib64/liblua-5.1.so
#8  0x00007f783ec4b73d in luaD_call () from /lib64/liblua-5.1.so
#9  0x00007f783ec4aa6e in luaD_rawrunprotected () from /lib64/liblua-5.1.so
#10 0x00007f783ec4b8ca in luaD_pcall () from /lib64/liblua-5.1.so
#11 0x00007f783ec4744d in lua_pcall () from /lib64/liblua-5.1.so
#12 0x00007f783ee765e2 in docall (L=0x7f7840003b40, narg=0, nresults=0, perror=0, fatal=1) at mod_lua.cpp:92
#13 0x00007f783ee76bdd in lua_parse_and_execute (L=L@entry=0x7f7840003b40, input_code=<optimized out>, session=session@entry=0x0) at mod_lua.cpp:195
#14 0x00007f783ee76c77 in lua_thread_run (thread=<optimized out>, obj=0x7f7840004c40) at mod_lua.cpp:222
#15 0x00007f788a668210 in dummy_worker (opaque=0x7f7840004f48) at threadproc/unix/thread.c:151
#16 0x00007f7888479dc5 in start_thread () from /lib64/libpthre

回到speech_thread函数
进程被唤醒后会执行switch_core_asr_check_results（）这个函数，去检查是否有识别结果数据。

SWITCH_DECLARE(switch_status_t) switch_core_asr_check_results(switch_asr_handle_t *ah, switch_asr_flag_t *flags)
{
    switch_assert(ah != NULL);

    return ah->asr_interface->asr_check_results(ah, flags);
}

asr_interface是个switch_asr_interface_t结构体指针，也是在recog_load（）里面赋值的。

    asr_interface->interface_name = MOD_UNIMRCP;
    asr_interface->asr_open = recog_asr_open;
    asr_interface->asr_load_grammar = recog_asr_load_grammar;
    asr_interface->asr_unload_grammar = recog_asr_unload_grammar;
    asr_interface->asr_enable_grammar = recog_asr_enable_grammar;
    asr_interface->asr_disable_grammar = recog_asr_disable_grammar;
    asr_interface->asr_disable_all_grammars = recog_asr_disable_all_grammars;
    asr_interface->asr_close = recog_asr_close;
    asr_interface->asr_feed = recog_asr_feed;
    asr_interface->asr_feed_dtmf = recog_asr_feed_dtmf;
    asr_interface->asr_resume = recog_asr_resume;
    asr_interface->asr_pause = recog_asr_pause;
    asr_interface->asr_check_results = recog_asr_check_results;
    asr_interface->asr_get_results = recog_asr_get_results;
    asr_interface->asr_get_result_headers = recog_asr_get_result_headers;
    asr_interface->asr_start_input_timers = recog_asr_start_input_timers;
    asr_interface->asr_text_param = recog_asr_text_param;
    asr_interface->asr_numeric_param = recog_asr_numeric_param;
    asr_interface->asr_float_param = recog_asr_float_param;

所以其实调用的是recog_asr_check_results（）。

static switch_status_t recog_asr_check_results(switch_asr_handle_t *ah, switch_asr_flag_t *flags)
{
    speech_channel_t *schannel = (speech_channel_t *) ah->private_info;
    return recog_channel_check_results(schannel);
}

static switch_status_t recog_channel_check_results(speech_channel_t *schannel)
{
    switch_status_t status = SWITCH_STATUS_SUCCESS;
    recognizer_data_t *r;
    switch_mutex_lock(schannel->mutex);
    r = (recognizer_data_t *) schannel->data;
    if (!zstr(r->result)) {
        switch_log_printf(SWITCH_CHANNEL_UUID_LOG(schannel->session_uuid), SWITCH_LOG_DEBUG, "(%s) SUCCESS, have result\n", schannel->name);
    } else if (r->start_of_input == START_OF_INPUT_RECEIVED) {
        switch_log_printf(SWITCH_CHANNEL_UUID_LOG(schannel->session_uuid), SWITCH_LOG_DEBUG, "(%s) SUCCESS, start of input\n", schannel->name);
    } else {
        status = SWITCH_STATUS_FALSE;
    }

    switch_mutex_unlock(schannel->mutex);
    return status;
}

在上一篇博文freeswitch mrcp 源码分析–数据接收（下）里面，我们说过：识别结果的具体内容放到recognizer_data_t的result中。所以当有识别结果的时候：r->result 不为空，所以函数的返回是SWITCH_STATUS_SUCCESS。

if (switch_event_create(&event, SWITCH_EVENT_DETECTED_SPEECH) == SWITCH_STATUS_SUCCESS) {
                if (status == SWITCH_STATUS_SUCCESS) {
                    switch_event_add_header_string(event, SWITCH_STACK_BOTTOM, "Speech-Type", "detected-speech");

                    if (headers) {
                        switch_event_merge(event, headers);
                    }

                    switch_event_add_body(event, "%s", xmlstr);
                } else {
                    switch_event_add_header_string(event, SWITCH_STACK_BOTTOM, "Speech-Type", "begin-speaking");
                }

                if (switch_test_flag(sth->ah, SWITCH_ASR_FLAG_FIRE_EVENTS)) {
                    switch_event_t *dup;

                    if (switch_event_dup(&dup, event) == SWITCH_STATUS_SUCCESS) {
                        switch_channel_event_set_data(channel, dup);
                        switch_event_fire(&dup);
                    }

                }

                if (switch_core_session_queue_event(sth->session, &event) != SWITCH_STATUS_SUCCESS) {
                    switch_log_printf(SWITCH_CHANNEL_CHANNEL_LOG(channel), SWITCH_LOG_ERROR, "Event queue failed!\n");
                    switch_event_add_header_string(event, SWITCH_STACK_BOTTOM, "delivery-failure", "true");
                    switch_event_fire(&event);
                }
            }

            switch_safe_free(xmlstr);

            if (headers) {
                switch_event_destroy(&headers);
            }

接下来就是顺理成章的数据组装了，先调用switch_event_create（）创建fs事件：

switch_event_create(&event, SWITCH_EVENT_DETECTED_SPEECH)

然后switch_event_add_header_string（）和switch_event_merge（）添加事件的头部信息：

switch_event_add_header_string(event, SWITCH_STACK_BOTTOM, "Speech-Type", "detected-speech");

                    if (headers) {
                        switch_event_merge(event, headers);
                    }

然后调用switch_event_add_body（）添加消息体。

switch_event_add_body(event, "%s", xmlstr);

最后调用switch_channel_event_set_data增加通道信息，并调用switch_event_fire将事件发出去：

switch_channel_event_set_data(channel, dup);
switch_event_fire(&dup);
罗自荣
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
开源软交换系统：freeSwitch架构设计分析
06-13
介绍freeswitch源码结构
freeswitch-esl-all:基于netty 4的freeswitch事件套接字，并具有一些新功能
05-16
FreeSWITCH ESL ALL 目标 1、支持连接FreeSWITCH大规模集群 2、更易于集成使用 4、与spring boot 2.3.x深度整合，提供 starter 5、可动态配置 模块说明 1. freeswitch esl 客户端(详细信息，移步至子模块） 2. 基于 freeswitch-esl 客户端示例(详细信息，移步至子模块） 3. 基于 Spring boot 2.3.x, freeswitch-esl 客户端(详细信息，移步至子模块） application.properties link.thingscloud.freeswitch.esl.inbound.servers[0].host=127.0.0.1 link.thingscloud.freeswitch.esl.inbound.servers[0].port=8021 lin
freeswitch 权威指南 --- 基础篇
最新发布
freeking101的博客
01-23 1412
freeswitch 权威指南 --- 基础篇
freeswitch1.9版本源码
09-11
freeswitch是一个电话的软交换解决方案。在客服系统中freeswitch有举足轻重的作用，以前是基于freeswitch1.6.15的基础上进行开发的，现在freeswitch版本更新到1.9,。
Freeswitch 源码分析
12-05
整理网上Freeswitch源码分析文档，对Freeswitch 学习有帮助
FreeSWITCH-1.10.1-Release-x64.msi
12-17
FreeSWITCH-1.10.1-Release-x64.msi，freeswitch新版下载，官网下载太慢了，我就放在这里供大伙儿下载，下载积分不足的可以联系我，我发邮箱。急用联系不上我可以呼叫17876409482
freeswitch模块对接使用阿里语音合成
08-24
freeswitch模块对接使用阿里语音合成
freeswitch mrcp 源码分析--数据接收（下）
hnzwx888的专栏
10-27 659
在前两篇我们介绍了mrcp接收后的处理，最后会调用apr_queue_push扔到消息队列里面。 对应的，在apt_consumer_task.apt_consumer_task_run（）中会循环调用pr_queue.apr_queue_pop（）从队列里面取出数据： apt_consumer_task.apt_consumer_task_run –> apr_queue.apr...
基于FreeSwitch插件实现静音检测（VAD）和语音识别（ASR）
shanghaimoon的专栏
07-04 3766
基于FreeSwitch插件实现的静音检测和语音识别功能
FreeSwitch源码系列-detect_speech
qq1779062842的博客
05-07 3352
特别喜欢侯捷老师某本书的一句话： “源码面前，了无秘密” 想必大家都想知道，fs是如何进行asr调用的，在调用asr的时候，fs做了什么事，以及asr的调用逻辑，fs是怎样控制各个模块，在asr调用的过程，又需要注意什么事？ 这次，我们以 detect_speech 这个函数来深入了解freeswitch，通过源码来获取更多asr相关的事情。 打开fs的源码后，在mod_dptools.c 的模块...
unimrcp源码窥探及task异步架构的学习(一)（Framework Agent）
5D金豆豆的博客
03-09 1054
设置日志DEBUG级别，对照日志从main函数进入处理流程。必要时候用gdb工具单步执行调试。 一、task分析 了解task的一切，从task创建开始。先来了解一下，apt_task_t这个结构体中包含了哪些数据。 父task链表节点(注释的说法是这样的)link 说明，环(ring)是一种双向链表，可以在不知道其头部在哪里的情况下进行操作。APR中的环的介绍，...
阿里智能语音V2.X SDM(MRCP-SERVER)技术文档(1).pdf
10-24
ASR 语音识别技术，也称为自动语音识别(Automatic Speech Recognition)，简称 ASR，其目 标是将人类语音中的词汇内容转换为可读的文字。  TTS 语音合成技术，也称为自动语音合成(Text To Speech)，简称 TTS，其目标是将文字转 成对应的语音声音。  NLU 自然语言理解技术（Natural Language Understanding），简称 NLU，有的叫做自然语言 处理(Natural Language Processing, NLP)， 这里认为这两者是同一个概念，即：研究如 何让计算机读懂人类语言。  IVR 交互式语音应答技术(Interactive Voice Response)，简称 IVR，本文将呼叫中心(Call Center)统一概称为 IVR。一般来说，由 IVR 通过 SDM 服务(实现了 MRCP 协议)调用 ASR、TTS、NLU 能力。  MRCP-SERVER 语音对话管理服务(Speech Dialogue Managerment)，简称 SDM，也即是本文档所描述的 服务，是 MRCP 协议的服务端实现，对外用以和各类呼叫平台(比如华为呼叫中心、 avaya、freeswitch)进行对接，对内集成了
SDM(MRCP-SERVER)公共云镜像使用.pdf
09-15
阿里云MRCP SERVER作用手册
freeswitch配置更改user-agent.txt
04-22
freeswitch配置更改user-agent.txt
FreeSWITCH-1.10.6-Release-x64.msi
06-10
Windows下FreeSWITCH的安装包，官网太慢，下载后分享
freeswitch-1.10.0.-release.tar.gz
06-30
freeswitch 1.10.0 官网源码，+x264+odbc mysql编译安装参看https://blog.csdn.net/tidehc/article/details/86593130
coredump分析
luozirong的专栏
12-21 6866
static void *audio_bridge_thread(switch_thread_t *thread, void *obj) { switch_ivr_bridge_data_t *data = obj; int stream_id = 0, pre_b = 0, ans_a = 0, ans_b = 0, originator = 0; switch_input_callbac
freeswitch 使用的问题
luozirong的专栏
11-24 4208
1.呼叫另一台主机的命令 originate sofia/external/[email protected] &echo 报错： [ERR] sofia_reg.c:2616 Cannot locate any authentication credentials to complete an authentication request for realm '"11.239.161.25
freeswitch.Session的实现过程
luozirong的专栏
12-31 4045
一.创建Session 在lua中通过调用 freeswitch.Session（）可以创建一个Session对象。按源码里的注释，他包括四个原型： LUA::Session::Session() LUA::Session::Session(char ,CoreSession ) LUA::Session::Session(char *) LUA::Session::Session(sw
freeswitch移植到arm--交叉编译
10-19
freeswitch是一个功能强大的开源电话交换平台，可以用于构建语音、视频和聊天应用程序。想要将freeswitch移植到ARM架构下进行交叉编译，可以按照以下步骤进行。 首先，确保你有一个可以运行Linux操作系统的ARM...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值