【ASR系列】【论文阅读】CIF

已于 2024-07-31 16:28:22 修改
阅读量160 收藏
点赞数 6
分类专栏： AI笔记 文章标签： 论文阅读
于 2024-07-31 14:16:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/andeyeluguo/article/details/140821610
版权

1. 概念学习

WER(word error rate): 单词错误率，是评价asr系统的一种重要指标，越低越好

是Continuous integrate-and-fire的简称，集成和发射，翻译成积分不太合理，可理解为求和

2. 思想

一个人说了几句话，在说第一句话的时候会不断地对输入的信号集成，说完这句话（达到了一定阈值）输出这些集成的信息到后续的识别模块，下一句话进行同样的操作。

2. 结构

总体结构如上图

图2中CIF的计算过程如上图3

算法流程为

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【语音识别】- 几个主流模型 - 2024 - 附论文地址和源码地址
大数据AI笔记
03-02 1127
损失函数：同时使用CTC和AED的输出，可以提高识别率，但是由于AED本身是非流式的解码，在Wenet中，则没采用联合解码的方式，而是采用了先使用CTC解码，再用AED对CTC的Nbest结果进行Rescoring，这样即结合了两种模型的效果，又可以应用于流式场景。流式计算：标准的Fully self-attention会对依赖整个序列，不能进行流式计算，因此wenet采用了基于chunk的attention，将序列划分为多个固定大小的chunk，每个chunk内部的帧不会依赖于chunk右侧的帧。
INTERSPEECH 2022论文解读｜Paraformer: 高识别率、高计算效率的单轮非自回归端到端语音识别模型
u013250861的博客
05-29 227
计算复杂度与迭代轮数有关（通常小于目标文字个数），相比于自回归模型，计算复杂度有所下降，但是解码需要多轮迭代的特性，限制了其在工业生产中的应用。对于单轮非自回归模型，现有工作往往聚焦于如何更加准确的预测目标文字个数，如较为典型的 Mask CTC[3]，采用 CTC 预测输出文字个数，尽管如此，考虑到现实应用中，语速、口音、静音以及噪声等因素的影响，如何准确的预测目标文字个数以及抽取目标文字对应的声学隐变量仍然是一个比较大的挑战。，计算复杂度与目标文字个数无关，进而极大的提高了解码效率。
【论文阅读】Paraformer工业级非自回归端到端语音识别模型
weixin_43870390的博客
02-02 5237
paraformer
语音识别论文汇总
weixin_44885180的博客
02-13 3239
Speech Recognition Papers Streaming ASR RNA based RNN-T based Attention based Unified Streaming/Non-streaming models Non-autoregressive (NAR) ASR ASR Rescoring / Spelling Correction (2-pass decoding) On-device ASR Noisy Student Training(Self Trainin..
端到端流式语音识别研究综述——语音识别（论文研读）
世上再无张显宗
03-13 3937
语音识别
基于百度、阿里、openai的中文语音识别研究测试报告
weixin_45901142的博客
05-29 1990
基于百度、阿里、openai的中文语音识别研究测试报告
【AI视野·今日Sound 声学论文速览 第四期】Thu, 21 Apr 2022
TomRen
04-22 2241
AI视野·今日CS.Sound 声学论文速览 Thu, 21 Apr 2022 Totally 7 papers 👉上期速览✈更多精彩请移步主页 Interesting: 📚基于生成流的音源分离, (from University of Rocheste) 数据集方法对比： Daily Sound Papers Clotho-AQA: A Crowdsourced Dataset for Audio Question Answering Authors Samuel Lipping,.
【AI视野·今日NLP 自然语言处理论文速览 第三十三期】Thu, 21 Apr 2022
TomRen
04-22 992
AI视野·今日CS.NLP 自然语言处理论文速览 Thu, 21 Apr 2022 Totally 56 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers Medical Dataset Classification for Kurdish Short Text over Social Media Authors Ari M. Saeed, Shnya R. Hussein, Chro M. Ali, Tarik A. .
Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognit
Zwr198的博客
11-20 1621
Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition
【ASR系列】【论文阅读】SEACO-PARAFORMER
andeyeluguo的博客
07-31 113
language model 语言模型 关注语言(linguistic)信息。hotword customization 热词定制 定制一些人名、实体等。acoustic model 声学模型 关注语音(phonetic)信息。任务是热词定制，效果很好。
ASR论文及相关资料
12-03
通过阅读和理解这些论文，可以了解到当前语音识别领域的最新进展和挑战。 5. **应用场景与未来趋势**：语音识别技术已广泛应用于智能助手、智能家居、自动驾驶等领域。未来，随着硬件设备的普及和计算能力的提升，...
TWEN-ASR ONE 语音识别系列教程（2）参考文章【1】
06-17
标题《TWEN-ASR ONE 语音识别系列教程（2）参考文章【1】》表明了这篇文档的定位是作为TWEN-ASR ONE系列语音识别教程的第二部分参考文章。从这个标题我们可以得知，文档的内容会专注于指导开发者如何在TWEN-ASR ONE...
点云论文阅读-1-pointnet++
weixin_43899239的博客
11-12 268
pointnet局限性：不能获取局部结构信息作者提出pointnet++如何确定球的尺寸，类似于如何确定CNN的卷积核尺寸。利用了多尺度邻域以同时实现鲁棒性和细节获取。
【论文笔记】Wings: Learning Multimodal LLMs without Text-only Forgetting
小嗷犬的博客
11-09 1060
多模态大型语言模型（MLLMs）以训练好的LLM为基础，首先将图像与文本对齐，然后对多模态混合输入进行微调。然而，MLLM在灾难性地忘记了仅包含文本的指令，这些指令不包括图像，可以在初始LLM中解决。在本文中，我们提出了WINGS，这是一种新型的MLLM，在纯文本对话和多模态理解方面都表现出色。分析MLLM在多模态指令中的注意力发现，纯文本遗忘与从预图像文本到后图像文本的注意力转移有关。据此，我们构建了额外的模块，作为增强学习器来补偿注意力转移。
【论文阅读】医学SAM适配器：适应医学图像分割的任意分割模型
川川自溢的博客
11-11 870
【论文阅读】医学SAM适配器：适应医学图像分割的任意分割模型
论文阅读《机器人状态估计中的李群》
YMWM_的博客
11-09 911
李群是一个古老的数学抽象对象，可以追溯到19世纪，当时数学家 Sophus Lie奠定了连续变换群理论的基础。多年后，它的影响已经蔓延到科学和技术的各个领域。在机器人领域，我们最近正在经历一个重要的趋势，至少在估计领域，特别是在导航的运动估计方面。然而，对于绝大多数机器人专家来说，李群是高度抽象的结构，因此难以理解和使用。在机器人估计技术中，通常不需要充分利用李群理论的能力，因此需要努力选择合适的阅读材料。在本文中，我们将通过李理论的最基本原理，目的是传达清晰和有用的想法，并留下一个重要的李理论语料库。
论文阅读分享：基于弱监督的病理图像腺体分割
tjl521314_21的博客
11-11 222
● 弱监督学习可以在较少标注的情况下，生成像素级分割，适用于处理复杂的病理图像分割任务。因此，弱监督学习成为一种有效的替代方案，通过图像级标签实现分割，减少标注成本。● 伪掩码去噪与分割优化：为应对病理图像结构不规则、对比度低等问题，提出动态加权损失，以过滤伪掩码中的噪音，提高分割精度。● 随着深度学习在医学图像分割中的广泛应用，全监督学习虽然取得了优异表现，但由于需要大量像素级标注，应用受到限制。● 本研究进一步优化了伪掩码生成，通过重构模块增强图像的局部激活，以提高分割质量。弱监督学习的优势与方法。
论文阅读《BEVFormer v2》
最新发布
YMWM_的博客
11-12 305
我们提出了一种具有透视监督的新型鸟瞰图（BEV）检测器，其收敛速度更快并且更适合现代图像主干。现有的最先进的BEV检测器通常与某些深度预训练主干网络（如VoVNet）相关联，从而阻碍了蓬勃发展的图像主干网络和BEV检测器之间的协同作用。为了解决这一限制，我们优先通过引入透视图监督来简化BEV检测器的优化。为此，我们提出了一个两阶段BEV检测器，其中来自透视头的提议被输入到鸟瞰头中进行最终预测。为了评估我们模型的有效性，我们进行了广泛的消融研究，重点关注监督形式和所提出的检测器的通用性。
【论文阅读】小样本学习相关研究
Glass_Gun的博客
11-11 648
不可靠的经验风险最小化器是FSL的核心问题。基于先验知识如何处理核心问题，可以将FSL分为三个角度：数据使用先验知识来增强监督经验，模型通过先验知识约束假设空间，算法使用先验知识改变对假设空间中最佳假设参数的搜索。这篇小样本学习综述论文从Data、Model、Algorithm三个方面介绍了现有的小样本学习领域内的方法，以数学的形式具体解释了小样本学习中的困难点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

andeyeluguo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值