FreeSWITCH二次开发-CTI接口

顶顶通呼叫中心中间件通过asrproxy程序对接各种asr和tts,本文主要讲解 asrproxy程序 对接 mrcp v1 和 mrcp v2的配置。

大部分手机也支持直接拨号 “虚拟号,分机号”，免去了手动输入分机号的麻烦,android的实现原理也是接通后延时1秒发送按键(DTMF)实现的。真人接通前可能出现的 声音是彩铃，回铃音， 呼叫失败的各种提示音，只要不符合以上特征就可以认为是真人接听了。为了解决隐私号不够用的问题，平台给一个虚拟号分配了4位的分机号，1个虚拟号就可以对应9999个真实的手机号了。2、平台转接真实的被叫后，真实的被叫拒接、无法接通、关机等情况，比如提示音”你拨打的电话正忙请稍后再拨”呼叫有分机号的虚拟号(隐私号)

cti_unicast 通过media_bug挂了2个回调SMBF_READ_STREAM和SMBF_WRITE_REPLACE，其中 SMBF_READ_STREAM，用来把媒体流推送到远端UDP端口，SMBF_READ_STREAM用来把远端发送来的声音混音到fs的放音。很多人需要直接获取原始的声音流，然后自己处理，其实FreeSWITCH也是支持的，只是知道的极少，FreeSWITCH原生支持 unicast 通过udp 把声音流推送到一个UDP端口，和播放网络的声音流。用户说话停止自动停止推流。

顶顶通语音识别（语音识别 一句话识别 实时流识别 funasr Whisper）

自chatgpt3.5发布以来，各种大模型飞速发展，各行各业都有接入大模型的需求，呼叫中心行业非常适合通过接入大模型用AI来回答用户的各种咨询，降低人力资源，使用顶顶通呼叫中心中间件，只需要100行不到的代码，就可以非常简单容易的让电话机器人系统，呼叫中心系统快速接入各种大模型。

顶顶通呼叫中心中间件，支持长签了，长签就是坐席呼叫一个特别号码，接通后不挂机，一直等待接电话，没电话呼入的时候，听背景音乐。一般用自动应答来实现呼入免操作直接接通，但是有的客户习惯长签模式，顶顶通呼叫中心中间件长签后，不光支持排队分配的电话直接接听，其他电话也一样可以呼入，做到了长签，却不占线。

APP例子：APIasrproxy_addr asrproxy程序IIP和端口vad_modevad_min_active_time_ms 说话时间大于这个值才开始提交ASRvad_max_end_silence_time_ms 静音时间大于这个值认为说话停止vad_level vad检测灵敏度 0-3，值越大越迟钝，建议3vad_filter 噪音过滤等级0-1.0，建议0.2，值越大过滤范围越大，会导致小的声音给过滤。0.8启用神经网络的噪音过滤。

FreeSWITCH 电话机器人 smartivr 接口文档

FreeSWITCH 电话机器人 VAD 打断 ASR集成 全功能开源例子

VAD语音活动检测(Voice Activity Detection,VAD)算法的难点是分析噪音还是人声，顶顶通公司经过1年的努力，基于20G的噪音声音文件和100G的正常人声的声音文件，使用tdnn(时延神经网络)和 lstm(长短期记忆网络)训练出噪音人声音判别模型。现在发布二次开发供大家测试。和FreeSWITCH集成的开源例子 再这里。

语音活动检测(Voice Activity Detection,VAD)，就是检测是否有声音，常规的算法是通过声音音量和频谱特诊来判断是否有声音的，但是无法区分是噪音还是人声，在电话机器人中噪音打断和噪音识别错误的关键词始终是一个痛点，机器学习算法可以通过大量噪音和人声数据训练出判别人声还是噪音的神经网络模型，VAD算法结合深度神经网络就可以彻底解决这个痛点了。 我们的最新VAD算法已经集成了人声噪音判别引擎。在电话机器人业务中，大量的无效声音(各种噪音)调用ASR，浪费ASR调用费用，有了噪音人声判别功能

本文以一个机器人电话回访为例，讲解模块化话术设计主流程全局流程例如在收集客户意向的时候，客户刚好在忙，请求等等一下，我们就可以设计一个可以重复利用的全局子流程复用思路每个通用全局流程单独配置好，做成流程模板，然后把主流程关联的全局流程插入到主流程文件就可以了。...

鼎鼎就职于顶顶通软件。专门从事呼叫中心软件开发，这个博客主要，介绍FreeSWITCH的一些知识以及开发的模块和软件。如果你对我发表的博文敢兴趣可以通过一下方式联系到我。联系方式微信：cdevelopQQ:1280791187网站：www.ddrj.comFreeSWITCH和呼叫中心相关的技术交流群 ：21596142下面介绍一下我从事呼叫中心开发的一下经历。大约2005年，找到了第一份程序员的工作，公司接了一个IVR导航系统的外包项目使用三汇语音卡进行开发的，..

介绍FreeSWITCH 电话机器人模块，包含脚本解析引擎和话术编辑器2部分。话术编辑器话术编辑器是一个图形化的应用程序，通过图形化编辑话术流程，生成JSON文件。支持ASR流接口，支持多种打断方案，支持TTS，支持变量，支持真人录音，支持TTS和录音文件混合放音，支持正则表达式匹配，支持NLP接口，支持知识库，支持限制流程重复执行。ASR支持采用ASR流接口，可以实时得到识别结果进行匹...

smart ivr 接口说明smartivr 是一个基于Freeswitch的电话机器人二次开发接口（restful），支持和Asterisk对接使用指南用户自己实现 httpAPI,机器人程序去调用这个接口，不是 机器人提供httpapi给用户调用。外呼程序呼叫电话接通后，或者客户主动呼入接通后 机器人程序 向 webserver post 发送smartivr ...

FreeSWITCH 语音识别 ASR 模块最近很多人都对FreeSWITCH和ASR对接比较感谢兴趣，我之前已经做了一个商业模块（商业模块请点击这里http://www.dingdingtong.cn/smartivr/），考虑到大部分人，只是研究一下，并不准确购买商业模块，特意做一个开源项目给大家提供一个参考。第一个版本实现 阿里云ASR和FreeSWITCH的直接对接，把识别结果通过...

介绍mod_vad是一个freeswitch的模块，实现VAD录音和放音支持打断。下载mod_vad安装libmyauth.so copy 到 fs/ib 目录 一般是 /usr/local/freeswitch/libmod_vad.so copy 到fs/mod 目录/usr/local/freeswitch/modmachinecode chmod +x ...

前言随着人工智能的普及，AI渗透到各行各业，本文介绍了利用最前沿的AI技术实现电话机器人的原理。什么是电话机器人通过ASR(语音识别)和TTS(文本转语音)模拟真人和用户通话，可用于企业总机，问卷调查，自动催缴，外呼营销等业务，支持百度，科大，阿里云等ASR系统，可以真人预先录音，用户完全察觉不到是机器人。如何开发一个电话机器人FreeSWITCH/Asterisk是一...