智能电话机器人--基于 UniMRCP 实现讯飞 ASR MRCP Server

最新推荐文章于 2023-07-27 18:08:30 发布
最新推荐文章于 2023-07-27 18:08:30 发布
阅读量1.1k 收藏 2
点赞数 1
分类专栏： Freeswitch 文章标签： 语音识别 mrcp
原文链接：https://blog.csdn.net/dalangtaosha2011/article/details/82854173
版权

通过实现 UniMRCP 的 plugin，我们可以封装讯飞、百度、阿里等厂家的 ASR 接口，实现我们自己的 MRCP 服务器。

什是 MRCP

媒体资源控制协议（Media Resource Control Protocol, MRCP）是一种通讯协议，用于媒体资源服务器向客户端提供各种语音服务，目前已定义的媒体资源服务有语音识别(Speech Recognition)、语音合成(Speech Synthesis)、录音(Recording)、说话人鉴别和确认(Speaker Verification and Identifi-cation)。MRCP并不定义会话连接，不关心服务器与客户端是如何连接的，MRCP消息使用RTSP、SIP等作为控制协议，目前最新的MRCPv2版本使用SIP控制协议。（本文使用的是MRCPv2）。

从源码编译、安装 UniMRCP

本文所有操作均在 CentOS 7 下进行。

UniMRCP 简介

UniMRCP is an open source cross-platform implementation of the MRCP client and server in the C/C++ language distributed under the terms of the Apache License 2.0. The implementation encapsulates SIP, RTSP, SDP, MRCPv2, RTP/RTCP stacks and provides integrators with an MRCP version consistent API.

编译、安装、运行

首先去官网下载“UniMRCP 1.5.0”和“UniMRCP Deps 1.5.0”。

切换到 root 账户，首先进入 Deps 目录进行依赖安装：

1

./build-dep-libs.sh

UniMRCP 安装可参考官网：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

./bootstrap

The usual "configure", "make", "make install" sequence of commands should follow in order to build 
and install the project from source.

./configure
make
make install

As a result, the project will be installed in the directory "/usr/local/unimrcp" with the following
layout:

bin binaries (unimrcpserver, unimrcpclient, ...)
conf configuration files (unimrcpserver.xml, unimrcpclient.xml, ...)
data data files
include header files
lib shared (convenience) libraries
log log files
plugin run-time loadable modules

安装完成后，可进入/usr/local/unimrcp/bin目录下，运行 server：

1

./unimrcpserver -o 3

启动成功后会提示“MRCP Server Started”。我们可以使用提供的 Client 进行验证：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

./unimrcpclient

.
.
.
>help
usage:

- run [app_name] [profile_name] (run demo application)
       app_name is one of 'synth', 'recog', 'bypass', 'discover'
       profile_name is one of 'uni2', 'uni1', ...

       examples:
           run synth
           run recog
           run synth uni1
           run recog uni1

如上图所示，启动完 Client 后，可输入run synth等命令，可以观察 Server 和 Client 端的日志，synth 是语音合成，recog 是语音解析。

MRCP plugin

直接从源代码切入其实是比较费劲的，我们可以结合服务器端的日志打印，从源代码中找出相应的调用过程。调用过程较复杂，后面只列出较为关键的部分。

加载流程

首先看日志，这里我们筛选了 Demo Recog 的日志，其他 plugin 道理上是一样的：

1
2
3
4

[INFO]   Load Plugin [Demo-Recog-1] [/usr/local/unimrcp/plugin/demorecog.so]
[INFO]   Register MRCP Engine [Demo-Recog-1]
[INFO]   Open Engine [Recorder-1]
[INFO]   Start Task [Demo Recog Engine]

通过上面的信息我们可以去搜索源代码，查看一个 plugin 的加载流程。

下面是从配置文件解析到 plugin 到 .so 被加载的流程：

1
2
3
4
5
6
7

unimrcp_server.c
/** Load plugin */
static apt_bool_t unimrcp_server_plugin_load(unimrcp_server_loader_t *loader, const apr_xml_elem *root) {
...
	engine = mrcp_server_engine_load(loader->server,plugin_id,plugin_path,config);
...
}

1
2
3
4
5
6
7
8
9
10
11

mrcp_server.c
/** Load MRCP engine */
MRCP_DECLARE(mrcp_engine_t*) mrcp_server_engine_load(
								mrcp_server_t *server,
								const char *id,
								const char *path,
								mrcp_engine_config_t *config) {
...
	engine = mrcp_engine_loader_plugin_load(server->engine_loader,id,path,config);
...
}

1
2
3
4
5
6
7

mrcp_engine_loader.h
/** Load engine plugin */
MRCP_DECLARE(mrcp_engine_t*) mrcp_engine_loader_plugin_load(mrcp_engine_loader_t *loader, const char *id, const char *path, mrcp_engine_config_t *config) {
...
apr_dso_load(&plugin,path,loader->pool)
...
}

load 成功之后，注册了该 engine：

1
2
3
4
5
6
7

unimrcp_server.c
/** Load plugin */
static apt_bool_t unimrcp_server_plugin_load(unimrcp_server_loader_t *loader, const apr_xml_elem *root) {
...
	return mrcp_server_engine_register(loader->server,engine);
...
}

最终会加到 hash 表中：

1
2
3
4
5
6
7
8

mrcp_engine_factory.c
/** Register new engine */
MRCP_DECLARE(apt_bool_t) mrcp_engine_factory_engine_register(mrcp_engine_factory_t *factory, mrcp_engine_t *engine)
{
...
	apr_hash_set(factory->engines,engine->id,APR_HASH_KEY_STRING,engine);
...
}

上面是 unimrcp_server_load调用后的一系列加载，成功之后将会启动服务器：

1
2
3
4
5
6
7
8
9
10

unimrcp_server.c
/** Start UniMRCP server */
MRCP_DECLARE(mrcp_server_t*) unimrcp_server_start(apt_dir_layout_t *dir_layout)
{
...
unimrcp_server_load(server,dir_layout,pool)
...
mrcp_server_start(server)
...
}

1
2
3
4
5
6
7

apt_bool_t mrcp_engine_virtual_open(mrcp_engine_t *engine) {
...
mrcp_engine_iface.c
/** Open engine */
engine->method_vtable->open(engine)
...
}

method_vtable 就涉及到 plugin 具体是如何被调用的了。

调用流程

通过查看具体的调用流程，在对比官网 plugin 实现手册，就很容易理解手册里需要我们实现的接口具体是什么作用。

具体调用细节这里就不详细展开了，最终对 plugin 的所有操作，都是通过下面三个虚表中的函数指针来进行回调触发。

首先是 engine 层面的回调，其实对应的就是 plugin 的创建、打开、关闭、删除：

1
2
3
4
5
6
7
8
9
10
11

/** Table of MRCP engine virtual methods */
struct mrcp_engine_method_vtable_t {
       /** Virtual destroy */
       apt_bool_t (*destroy)(mrcp_engine_t *engine);
       /** Virtual open */
       apt_bool_t (*open)(mrcp_engine_t *engine);
       /** Virtual close */
       apt_bool_t (*close)(mrcp_engine_t *engine);
       /** Virtual channel create */
       mrcp_engine_channel_t* (*create_channel)(mrcp_engine_t *engine, apr_pool_t *pool);
};

客户端与服务器 plugin 通信时，在一个 session 内会创建 channel，并在会话终止时销毁该 channel。以下就是 channel 相关的回调：

1
2
3
4
5
6
7
8
9
10
11

/** Table of channel virtual methods */
struct mrcp_engine_channel_method_vtable_t {
       /** Virtual destroy */
       apt_bool_t (*destroy)(mrcp_engine_channel_t *channel);
       /** Virtual open */
       apt_bool_t (*open)(mrcp_engine_channel_t *channel);
       /** Virtual close */
       apt_bool_t (*close)(mrcp_engine_channel_t *channel);
       /** Virtual process_request */
       apt_bool_t (*process_request)(mrcp_engine_channel_t *channel, mrcp_message_t *request);
};

当使用 ASR 时需要有音频数据的流入，TTS 时需要有音频数据的流出，下面的回调就是为了处理音频数据：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

/** Table of audio stream virtual methods */
struct mpf_audio_stream_vtable_t {
       /** Virtual destroy method */
       apt_bool_t (*destroy)(mpf_audio_stream_t *stream);
       /** Virtual open receiver method */
       apt_bool_t (*open_rx)(mpf_audio_stream_t *stream, mpf_codec_t *codec);
       /** Virtual close receiver method */
       apt_bool_t (*close_rx)(mpf_audio_stream_t *stream);
       /** Virtual read frame method */
       apt_bool_t (*read_frame)(mpf_audio_stream_t *stream, mpf_frame_t *frame);
       /** Virtual open transmitter method */
       apt_bool_t (*open_tx)(mpf_audio_stream_t *stream, mpf_codec_t *codec);
       /** Virtual close transmitter method */
       apt_bool_t (*close_tx)(mpf_audio_stream_t *stream);
       /** Virtual write frame method */
       apt_bool_t (*write_frame)(mpf_audio_stream_t *stream, const mpf_frame_t *frame);
       /** Virtual trace method */
       void (*trace)(mpf_audio_stream_t *stream, mpf_stream_direction_e direction, apt_text_stream_t *output);
};

通过对上面三个虚表内回调方法的实现，就可以对客户端发送过来的相应请求进行处理。

使用科大讯飞 ASR 实现 MRCP plugin

新建 plugin

修改 configure.ac

因为 unimrcp 使用 automake 进行源码编译管理，所以除了添加源代码，我们还需要进行相应配置添加。
首先编辑 configure.ac 文件，添加如下，其实是一个宏定义会在后面的 Makefile 中使用到，以及添加后面我们新增的 Makefile：

1
2
3
4
5
6
7
8
9
10
11
12

dnl XFyun recognizer plugin.
UNI_PLUGIN_ENABLED(xfyunrecog)

AM_CONDITIONAL([XFYUNRECOG_PLUGIN],[test "${enable_xfyunrecog_plugin}" = "yes"])

...

plugins/xfyun-recog/Makefile

...

echo XFyun recognizer plugin....... : $enable_xfyunrecog_plugin

新增源代码及目录

在 plugin 目录下，新建 xfyun-recog 目录，并在该目录下新建 src 目录，可以将 demo_recog_engine.c 拷贝到该目录下改名为 xfyun_recog_engine.c，并将源代码中的所有“demo”替换为“xfyun”，当然也可以自己从 0 开始敲一遍。

新建 Makefile.am 文件，内容如下：

1
2
3
4
5
6
7
8

AM_CPPFLAGS                = $(UNIMRCP_PLUGIN_INCLUDES)

plugin_LTLIBRARIES         = xfyunrecog.la

xfyunrecog_la_SOURCES       = src/xfyun_recog_engine.c
xfyunrecog_la_LDFLAGS       = $(UNIMRCP_PLUGIN_OPTS)

include $(top_srcdir)/build/rules/uniplugin.am

修改 plugin 目录下的 Makefile.am 文件，新增如下内容：

1
2
3

if XFYUNRECOG_PLUGIN
SUBDIRS               += xfyun-recog
endif

XFYUNRECOG_PLUGIN 就是 configure.ac 里面我们添加的内容。

最终目录结构如下图（请忽略红框外的文件）：

xfyun recog dir

完成后我们可以从第一步开始重新把 UniMRCP 编译一遍，应该可以看到 xfyun_recog_engine.so 的生成。

导入讯飞 SDK

首先去讯飞开放平台下载语言听写及在线语音合成（后面 TTS 实现时用到）的SDK。

在 plugin 目录下新建 third-party 目录，将讯飞的 SDK 拷贝进去：

third party dir

修改 xfyun_recog_engine 的 Makefile.am，添加对讯飞库的链接及安装时的拷贝：

1
2
3
4
5
6
7
8
9
10
11
12

plugin_LTLIBRARIES         = xfyunrecog.la

xfyunrecog_la_SOURCES       = src/xfyun_recog_engine.c
xfyunrecog_la_LDFLAGS       = $(UNIMRCP_PLUGIN_OPTS) \
                              -L$(top_srcdir)/plugins/third-party/xfyun/libs/x64 \
                              -lmsc -ldl -lpthread -lrt
xfyunrecog_ladir            = $(libdir)
xfyunrecog_la_DATA          = $(top_srcdir)/plugins/third-party/xfyun/libs/x64/libmsc.so

include $(top_srcdir)/build/rules/uniplugin.am

UNIMRCP_PLUGIN_INCLUDES     += -I$(top_srcdir)/plugins/third-party/xfyun/include

调用讯飞 API 实现 plugin

讯飞的实现可以参考官方文档和 SDK 里面提供的 asr_sample。

xfyun asr

引用头文件

1
2
3
4

#include <stdlib.h>
#include "qisr.h"
#include "msp_cmn.h"
#include "msp_errors.h"

channel 新增变量

1
2
3
4
5
6

struct xfyun_recog_channel_t {
	...
	const char				*session_id;	//讯飞session_id
	const char				*last_result;	//存放识别结果
	apt_bool_t				recog_started;	//是否已开始识别
};

讯飞 login

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

static apt_bool_t xfyun_login()
{
	int			ret						=	MSP_SUCCESS;
	const char* login_params			=	"appid = 5ac1c462, work_dir = ."; // 登录参数，appid与msc库绑定,请勿随意改动

	/* 用户登录 */
	ret = MSPLogin(NULL, NULL, login_params); //第一个参数是用户名，第二个参数是密码，均传NULL即可，第三个参数是登录参数	
	if (MSP_SUCCESS != ret)
	{
		apt_log(RECOG_LOG_MARK,APT_PRIO_ERROR,"[xfyun] MSPLogin failed , Error code %d.", ret);
		return FALSE; //登录失败，退出登录
	}
	apt_log(RECOG_LOG_MARK,APT_PRIO_INFO,"[xfyun] MSPLogin success");
	return TRUE;
}

我们在创建 engine 的时候调用该函数即可。

讯飞 session 创建、终止

首先我们需要找到 session 创建、终止的时机。xfyun_recog_msg_process是处理 channel 中的 request 的回调，RECOGNIZER_RECOGNIZE 正是请求识别，所以我们在请求时创建 session，识别结束或者 RECOGNIZER_STOP 时终止该 session。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

/** Process RECOGNIZE request */
static apt_bool_t xfyun_recog_channel_recognize(mrcp_engine_channel_t *channel, mrcp_message_t *request, mrcp_message_t *response)
{
...
/* reset */
	int errcode = MSP_SUCCESS;
	const char*	session_begin_params = "sub = iat, domain = iat, language = zh_cn, accent = mandarin, sample_rate = 8000, result_type = plain, result_encoding = utf8";
	recog_channel->session_id = QISRSessionBegin(NULL, session_begin_params, &errcode); //听写不需要语法，第一个参数为NULL
	if (MSP_SUCCESS != errcode)
	{
		apt_log(RECOG_LOG_MARK,APT_PRIO_WARNING,"[xfyun] QISRSessionBegin failed! error code:%d\n", errcode);
		return FALSE;
	}
	apt_log(RECOG_LOG_MARK,APT_PRIO_INFO,"[xfyun] QISRSessionBegin suceess!");
	
	recog_channel->last_result = NULL;
	recog_channel->recog_started = FALSE;

	recog_channel->recog_request = request;
}

void xfyun_recog_end_session(xfyun_recog_channel_t *recog_channel){
	if(recog_channel->session_id) {
		apt_log(RECOG_LOG_MARK,APT_PRIO_INFO,"[xfyun] QISRSessionEnd suceess!");
		QISRSessionEnd(recog_channel->session_id, "mrcp channel closed");
		recog_channel->session_id = NULL;
	}
}

处理语音流

xfyun_recog_stream_write是收到语音流的回调，很显然具体的识别处理应该在这个里面进行调用，下面是具体的识别函数：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57

static apt_bool_t xfyun_recog_stream_recog(xfyun_recog_channel_t *recog_channel,
							   const void *voice_data,
							   unsigned int voice_len 
							   ) {
	// int MSPAPI QISRAudioWrite(const char* sessionID, const void* waveData, unsigned int waveLen, int audioStatus, int *epStatus, int *recogStatus);
	int aud_stat = MSP_AUDIO_SAMPLE_CONTINUE;		//音频状态
	int ep_stat	= MSP_EP_LOOKING_FOR_SPEECH;		//端点检测
	int rec_stat = MSP_REC_STATUS_SUCCESS;			//识别状态
	int ret = 0;
	if(FALSE == recog_channel->recog_started) {
		apt_log(RECOG_LOG_MARK,APT_PRIO_INFO,"[xfyun] start recog");
		recog_channel->recog_started = TRUE;
		aud_stat = MSP_AUDIO_SAMPLE_FIRST;
	} else if(0 == voice_len) {
		apt_log(RECOG_LOG_MARK,APT_PRIO_INFO,"[xfyun] finish recog");
		aud_stat = MSP_AUDIO_SAMPLE_LAST;
	}
	if(NULL == recog_channel->session_id) {
		return FALSE;
	}
	ret = QISRAudioWrite(recog_channel->session_id, voice_data, voice_len, aud_stat, &ep_stat, &rec_stat);
	if (MSP_SUCCESS != ret)
	{
		apt_log(RECOG_LOG_MARK,APT_PRIO_WARNING,"[xfyun] QISRAudioWrite failed! error code:%d", ret);
		return FALSE;
	}
	if(MSP_REC_STATUS_SUCCESS != rec_stat && MSP_AUDIO_SAMPLE_LAST != aud_stat) {
		// apt_log(RECOG_LOG_MARK,APT_PRIO_INFO,"[xfyun] no need recog,rec_stat=%d,aud_stat=%d",rec_stat,aud_stat);
		return TRUE;
	}
	while (1) 
	{
		const char *rslt = QISRGetResult(recog_channel->session_id, &rec_stat, 0, &ret);
		if (MSP_SUCCESS != ret)
		{
			apt_log(RECOG_LOG_MARK,APT_PRIO_WARNING,"[xfyun] QISRGetResult failed, error code: %d", ret);
			return FALSE;
		}
		if (NULL != rslt)
		{
			if(NULL == recog_channel->last_result) {
				recog_channel->last_result = apr_pstrdup(recog_channel->channel->pool,rslt);
			} else {
				// recog_channel->last_result = apr_psprintf(recog_channel->channel->pool,"%s%s",recog_channel->last_result,rslt);
				recog_channel->last_result = apr_pstrcat(recog_channel->channel->pool, recog_channel->last_result,rslt);
			}
		}
		apt_log(RECOG_LOG_MARK,APT_PRIO_INFO,"[xfyun] Get recog result:%s",rslt);

		if(MSP_AUDIO_SAMPLE_LAST == aud_stat && MSP_REC_STATUS_COMPLETE != rec_stat) {
			usleep(150*1000);
			continue;
		}
		break;
	}
	return TRUE;
}

发送识别结果

当xfyun_recog_stream_write中检测到语音结束或者没有任何输入时，调用xfyun_recog_recognition_complete发送结束的消息，在该函数中我们就可以读出最终的解析结果发送出去：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

/* Load xfyun recognition result */
static apt_bool_t xfyun_recog_result_load(xfyun_recog_channel_t *recog_channel, mrcp_message_t *message)
{
	apt_str_t *body = &message->body;
	if(!recog_channel->last_result) {
		return FALSE;
	}

	body->buf = apr_psprintf(message->pool,
		"<?xml version=\"1.0\"?>\n"
		"<result>\n"
		"  <interpretation confidence=\"%d\">\n"
		"    <instance>%s</instance>\n"
		"    <input mode=\"speech\">%s</input>\n"
		"  </interpretation>\n"
		"</result>\n",
		99,
		recog_channel->last_result,
		recog_channel->last_result);
	if(body->buf) {
		mrcp_generic_header_t *generic_header;
		generic_header = mrcp_generic_header_prepare(message);
		if(generic_header) {
			/* set content type */
			apt_string_assign(&generic_header->content_type,"application/x-nlsml",message->pool);
			mrcp_generic_header_property_add(message,GENERIC_HEADER_CONTENT_TYPE);
		}
		
		body->length = strlen(body->buf);
	}
	return TRUE;
}

端点检测问题

下面的方法进行了语音的端点检测，在实际调试时，有遇到通话的 level 最低始终是 8，低于默认的阈值 2，可以适当的调高默认值，从而避免出现始终不会识别到语音结束的情况。

1

MPF_DECLARE(mpf_detector_event_e) mpf_activity_detector_process(mpf_activity_detector_t *detector, const mpf_frame_t *frame)

修改配置文件

重新编译安装后，我们还需要修改配置文件，使用我们自己的 engine。编辑conf/unimrcpserver.xml文件，启用我们自己的 engine：

1
2

<engine id="Demo-Recog-1" name="demorecog" enable="false"/>
<engine id="XFyun-Recog-1" name="xfyunrecog" enable="true"/>

运行后就可以看到 xfyunrecog 被加载了。

源码

GitHub：MRCP-Plugin-Demo，该 Demo 只是实现基本流程，还有很多可以完善的地方，如处理 recognize 请求的参数、Grammar 的接收处理。

hnzwx888
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
阿里智能语音V2.X SDM(MRCP-SERVER)技术文档(1).pdf
10-24
ASR 语音识别技术，也称为自动语音识别(Automatic Speech Recognition)，简称 ASR，其目 标是将人类语音中的词汇内容转换为可读的文字。  TTS 语音合成技术，也称为自动语音合成(Text To Speech)，简称 TTS，其目标是将文字转 成对应的语音声音。  NLU 自然语言理解技术（Natural Language Understanding），简称 NLU，有的叫做自然语言 处理(Natural Language Processing, NLP)， 这里认为这两者是同一个概念，即：研究如 何让计算机读懂人类语言。  IVR 交互式语音应答技术(Interactive Voice Response)，简称 IVR，本文将呼叫中心(Call Center)统一概称为 IVR。一般来说，由 IVR 通过 SDM 服务(实现了 MRCP 协议)调用 ASR、TTS、NLU 能力。  MRCP-SERVER 语音对话管理服务(Speech Dialogue Managerment)，简称 SDM，也即是本文档所描述的 服务，是 MRCP 协议的服务端实现，对外用以和各类呼叫平台(比如华为呼叫中心、 avaya、freeswitch)进行对接，对内集成了
SDM(MRCP-SERVER)公共云镜像使用.pdf
01-21
freeswitch 使用sdm对接阿里云mrcp-server 接入asr和tts，让人工智能更美好
unimrcpserver-mrcp-v2.xml
12-20
一个freeswitch mrcp 模块使用的配置文件，直接拷到对于的目录下即可，然后配置ip地址,再重启freeswitch即可加载
MRCP-Plugin-Demo-kedaxunfei_DEMO_unimrcp_多媒体资源协议_
10-01
对 ARS TTS 语音设别的例子做了修改
批量语音识别
q136780964的博客
06-13 583
总体思路 FFmpeg对音视频进行处理获取wav音频文件，对音频文件按时间切片（30秒），每个片段调用百度或科大讯飞API进行识别（这里主要是用免费的那种）。 FFmpeg音视频处理 使用FFmpeg对音视频进行格式转换、切片 public class FFmpeg { private Process FFmpegProcess; /// <su...
【FreeSwitch开发实践】UniMRCP编译与安装
xiao2macf的专栏
07-28 2548
UniMRCP是MRCP客户端和服务器的开源跨平台实现，采用C/C++语言，根据Apache许可证2.0的条款分发。它实现封装了SIP、RTSP、SDP、MRCPv2、RTP/RTCP协议栈，对外提供了提供了MRCP版本一致的API。MRCP协议，全称MediaResourceControlProtocol，媒体资源控制协议，用于语音服务器向客户端提供各种语音服务(如语音识别ASR和语音合成TTS)。.........
unimrcp 实现阿里云的plugin
至虛極，守靜篤
11-01 1603
新建 plugin 修改 configure.ac 因为 unimrcp 使用 automake 进行源码编译管理，所以除了添加源代码，我们还需要进行相应配置添加。 首先编辑 configure.ac 文件，添加一些内容。可以参考demorecog的内容编辑一份 打开configure.ac添加模块的宏定义（搜索demorecog，参照其内容）： dnl Ali recognizer plugin. UNI_PLUGIN_ENABLED(alirecog) AM_CONDITIO
开源代码走读--unimrcp
HAH--M的博客
04-11 636
当unimrcp作为录音仪使用时，其rtp数据流在client端得发送流程及server端的解析流程
unimrcp server的session资源分配与回收
至虛極，守靜篤
07-27 309
这一行mrcp_session_t* session = sofia_agent->sig_agent->create_server_session(sofia_agent->sig_agent);又跳转到 mrcp_server_sig_agent_session_create()函数，它在mrcp_server.c里实现。这个nua_callback批向mrcp_sofia_event_callback()函数，它在mrcp_sofiasip_server_agent.c里实现。它分发处理SIP消息。
Python调用科大讯飞C语言接口(语音听写linux sdk)实现语音识别
qq_24822271的博客
07-30 1914
Python调用科大讯飞C语言接口实现语音识别 https://blog.csdn.net/fang_yang_wa/article/details/78791137
7-FreeSwitch-mrcp-plugin-with-freeswitch（亲测可用，自我整理）
huiguo_的博客
08-09 1747
mrcp-plugin-with-freeswitch 特别感谢Cotin 网站《构建简单的智能客服系统》（一）、（二）、（三）对于构建过程的帮助，您在阅读本教程前，可以先行阅读这本书三篇文章，本教程基于此调整了构建顺序，给出了更多的操作细节，错误处理以及其他构建描述。 主要目的 使用FreeSWITCH接受用户手机呼叫，通过UniMRCP Server集成讯飞开放平台（xfyun）插件将用户语音进行语音识别（ASR），并根据自定义业务逻辑调用语音合成（TTS），构建简单的端到端语音呼叫中心。 第一步安装
科大讯飞语音离线命令识别
weixin_45833112的博客
03-31 3912
注册讯飞账号，做相关的认证，只有认证通过才能下载部分免费的资源。官网地址：https://console.xfyun.cn/创建我的应用后再在离线命令识别 2、新建 IatActivity 声明必要的类成员 3、初始化监听 4、语音命令识别的周期监听 5、离线命令UI监听 6、获取离线资源 7、参数设置 8、弹窗提示 9、语音权限提示窗口 10、动态申请权限 11、在onCreate() 方法中初始 12、按钮点击 处理识别命令测试 13、界面a
Android讯飞语音云语音听写学习
xiaobailong24的专栏
11-24 2531
讯飞语音云语音听写学习，可以实现简单的语音识别以及合成。将人说话的声音转化为文字，并且可以根据文字合成语音朗读出来。简单可用，方便移植。比官方Demo简化了很多。
配置Freeswitch(mod_unimrcp)与百度Mrcp Server实现实时语音识别(ASR)
irizhao的专栏
03-21 6439
前面我们已经搭建好了百度Mrcp Server服务器，接下来我们将Freeswitch与unimrcp server两者连接起来,配置百度unimrcp server的文章大家去这里看一下：搭建百度Mrcp Server与Freeswitch的mod_unimrcp对接实现智能客服 一、配置freeswitch的mod_unimrcp模块： 1、安装mod_unimrcp模块 cd /项目...
Freeswitch 对接 unimrcpserver ASR调用
qq1779062842的博客
12-20 4613
freeswitch 部署的系统版本：Centos6.9 x64 unimrcp 部署版本：Red Hat6.4 x86(32) ** 对接前提： freeswitch 已经编译并且安装了mod_unimrcp 模块 unimrcp 已经部署好 ** 如果以上的两个都没问题我们就可以对接了 一 ：进行配置文件 先配置unimrcp服务器 如果顺利安装好平台，会在该路径下可以找到配置文件 vim...
java mrcp_UniMRCP: UniMRCP 是一个开源的、跨平台的 MRCP 协议实现，由 C / C ++语言 编写，包括了 MRCP 客户端和服务端两个部分，每个组件可以自由的分拆出来单...
weixin_34580002的博客
03-06 1411
INTRODUCTION============UniMRCP is an open source project compliant with the IETF RFC6787 (MRCPv2) and RFC4463 (MRCPv1)specifications.INSTALLATION============See the file "INSTALL" for installation ti...
unimrcp源码窥探及task异步架构的学习(二)（MRCP Client）
5D金豆豆的博客
03-19 1349
Framework Agent创建过程中，虚方法表中的方法都实现了。 在启动task的过程中，会触发on_start_complete事件。MRCP Client正是在这个事件中创建的。 所以让我们来看看这个事件中完成了哪些工作。 一、创建mrcpclient 首先创建mrcpclient客户端堆栈，即得到mrcp_client_t结构。 unimrcp_client...
unimrcp 配置文件说明（三）
hrx-@@
10-10 1920
一、环境： PC操作系统：CentOS Linux release 7.9.2009 (Core) gcc 版本：4.8.5 20150623 (Red Hat 4.8.5-44) (GCC) unimrcp版本：1.7.0 本文主要是记录一下关于配置文件的研究。 unimrcp分为服务端和客户端，即 unimrcpserver 和 unimrcpclient 。 二、服务端和客户端共用配置文件 文件如下： logfile.xml（日志文件说明） logger.xml（日志输出配置） dirlayout
mrcp-server
最新发布
01-11
MRCP（Media Resource Control Protocol）是一种用于语音和音频服务的开放式通信协议。MRCP服务器是指实现了MRCP协议的服务器软件，它主要用于语音识别和合成、唤醒以及音频流处理等方面。 MRCP服务器的主要功能包括： 1. 接收客户端发送的MRCP请求，如识别请求、合成请求等。 2. 提供语音识别服务，将客户端发送的语音流进行处理并返回识别结果。这可以应用在自动语音识别、语音查找等领域。 3. 提供语音合成服务，根据客户端发送的合成请求，生成对应的语音流。这可以应用在语音导航、语音提示等场景中。 4. 提供唤醒服务，通过客户端发送的指令进行唤醒操作，用于激活特定的语音交互功能。 5. 实现音频流处理功能，对客户端发送的音频流进行处理和转码，以满足不同的音频要求。 MRCP服务器通常作为语音处理系统的一部分存在，与其他组件如ASR（Automatic Speech Recognition）、TTS（Text-To-Speech）等相互配合。它可以根据用户需求进行定制和配置，以满足不同应用场景的要求。 总之，MRCP服务器是基于MRCP协议实现的服务器软件，用于提供语音识别、合成、唤醒以及音频流处理等语音和音频服务。它是语音处理系统中不可或缺的重要组件之一。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值