Blackoutdragon的博客

这篇文章相当于Prompt工程的一个系统性的介绍文章，告诉你应该如何设计Prompt，以及如何评价对应的Prompt 。通过这文章，大概知道关于Prompt的相关设计论文应该怎么写，有了一个大概的思路，同时也知道如何设计一个prompt，保证模型输出的是对应模板，然后提取其中的信息。后续其他的模式作用并不大， 暂时不准备继续往下看了。后续会继续翻译，使用LLM进行文本分类的文章。

通过这篇文章了解目前比较成功的Minitron压缩模型的具体压缩方法以及来源！

这个比赛报名参加了，但是不是很确定他具体数据格式，是每一个样本和都提供三种不同类型的数据，还是每一个样本都随机提供一个类型的数据？立一个flag，留一个悬念，看看能不能拿个前五，在整个论文！

这个比赛很有意义，因为目前AD检测的主要问题就是数据集过少，大部分数据集都是英语数据集，但是实际上很多患者分布在非英语的国家，所以需要解决多语种数据小的问题。这个比赛刚好是解决了英语检测样本和中文检测样本的问题，不过Baseline做的实在不够高明，对于语义信息的提取还是需要再进一步改良的。这篇文章主要是对这个数据集了解的更加深刻，方便以后自己做科研！加油！趁现在，抓紧把论文写完！

这个文章是提出了一种新的AD检测方法，是一种多模态的方式，将语义特征和音频特征进行结合，是一种多模态的检测方法。但是并没有完全解决目前的问题症结。目前的主要问题是，针对AD检测的数据集太少了，如何做到跨语言检测，或者小样本检测。目前很多比赛也表现出了解决这个问题的倾向，从2020年的InterSpeech到2024年ICASSP连续四年的比赛都是解决AD检测，已经由单语言向跨语言转变，今年的连续两届会议都是解决跨语言检测的问题。

这篇文章有以下两个创新点并没有直接使用预训练的语言模型提取的语义特征进行分类，而是增加额外的词语，基于prompt预测下一个词语。将基于停顿和迟疑的不流利特征，融入到专门针对AD检测设计的prompt的提示词中在实验上，这篇文章做了两方面的对比不同的PLM模型：比较了BERT和RoBERTa，以及两者结合的两个预训练语言模型不同的微调方式：比较传统的微调方式和基于提示词的微调方式针对弊端AD检测任务是分类任务，PLM模型是用来单词预测的，如何将两者在目标上进行统一？

论文全称：DEMENTIA ASSESSMENT USING MANDARIN SPEECH WITH AN ATTENTION-BASED SPEECH RECOGNITION ENCODER备注：未收录，代码比较详尽，台湾清华大学的，这篇文章和我一样，也是自主收集数据集，并创建对应的分类模型除此之外，这篇文章，也是将关注点集中在针对中国话的AD检测，创新应用领域。

文章全称：Multi-modal fusion with gating using audio, lexical and disfluency features for Alzheimer’s Dementia recognition from spontaneous speech这篇文章是少有的公开代码的关于AD检测一些论文，这里需要好好学习。主要从以下几个方面进行学习，分别是特征工程：提取音频特征和语义特征的方式特征融合方式：本文是使用基于门控的双向LSTM进行特征处理和融合的多模态单词向量

这篇文章，很有意义对比了不同的预训练语言模型BERT，RoBERta，还有其他别的等尝试了不同的语义微调策略，基于提示词和基于掩码将停顿和迟疑特征编码到语义特征中进行识别这部分可以参考之前的，将时间特征编码到语义特征中。提供的角度可以将一些disfluency特征，应用到专属文本中，然后不断调整大语言模型的识别效果，然后将之和chat手工特征进行对比，做一组对比试验，进行效果查看。这里给我们提供了一个处理语义模型的方法，如何将不同的特征融入到对应的语义中，让语义模型的效果更加明显，同时，这个实

总的来说，从三个方面对这篇文章进行概括特征工程方面音频特征这篇文章提到了2020年的baseline，他是做了所有音频特征的综合分类，这里可以减去我们很多功夫，目前来看，这篇文章使用的音频特征效果最好，文本特征这篇文章使用的是Glo Ve模型，针对的是词汇特征，可以作为一个思路进行拓宽，并没有使用bert，而且目前来看，效果不错，这篇文章，专门强调了disfluency特征，这里可以作为一个补充。特征融合门控机制这篇文章使用了门控神经网络实现多模态特征的融合，提高了召回率LST

* openSMILE（open-source Speech and Music Interpretation by Large-space Extraction）是一个开源工具包，用于语音和音乐信号的音频特征提取和分类。openSMILE广泛应用于情感计算的自动情感识别。openSMILE完全免费用于研究目的。

* 对于这个代码，我需要明白，我要将这段代码看到什么程度，我需要理解哪些？ * 网络模型结构：具体的网络模型参数，将之迁移到当前的网络模型中 * 数据预处理的方式：输入数据的格式，以及数据预处理的流程 * 训练策略：相关超参数，训练验证策略

论文学习——用于检测AD痴呆和其严重程度的多模态归纳和迁移学习Multimodal Inductive Transfer Learning for Detection of Alzheimer's D

AD关于情绪的相关研究

使用图片描述样本作为图片检测的理论性分析

* 关于这篇文章的论文还有代码都看完了，但是感觉还是有点生疏。一方面是因为论文写的很简短，而且没有画出一些模型架构图。另外一方面，代码读的太过粗略，有很多地方并没有搞懂。* 这个代码应该再好好读读，写的很详细，而且功能也很完善，可以作为以后实验的baseline。所以，这里写一篇博客，对代码进行总结。* 主要集中在以下几个方向 * 数据预处理以及对应的输出目录 * 模型的输出和地址 * 模型预训练和微调的方式

目前来看，总共6篇文章，各自使用了不同的方法，尝试了不同的特征，根据每一篇文章的内容可以做出来如下的一些总结* **第一篇文章**，证明了disfluency feature的有效性，同时AD任务和MMSE分类任务的相关性。* **第二篇文章**，证明了在有效的数据处理的情况下，eGeMAPS特征的有效性。* **第三篇文章**，证明了通过平衡数据微调之后的语义特征，具有跨语言的特性，效果较好。 * 有效的链接，应该是比单模态的效果要好；无效的链接，只会让融合之后的结果更差。* **第四篇文章—

* ICASSP中SPGC是从英语数据集中进行学习，然后将之外推到希腊语进行检测。我们的模型，**是受到医学AD研究的启发，使用音频特征和* 如果要做语义分析，最简单的方式就是使用同一种语言进行处理，所以需要讲希腊语转为英语进行处理，这里我看之前很多研究都没有做这一步。* 并没有直接使用转录的文本，而是使用这些模型所对应的词级特征，进行分类。* 这里使用了语音理解特征集，这是一个十分有意义的接入点，理解需要弄清楚每一个段音频对应的语义信息* 单纯使用机器学习，和一些可以理解的特征，效果也是客观的。

* 这篇文章在最显著的成就是 * 对音频数据的处理，区分speaker和participant，直接统一处理肯定会影响最终的检测效果。 * 区分音频段和pause段，提高两类特征的显著性 * MMSE和AD检测任务的相关性 * 仅仅只有Disfluency特征和Acoustic特征，效果就很好了，后续的一些分类可以使用最基本的机器学习实现。

* AD是一种退行性神经级疾病，常伴随着记忆衰退和认知障碍，随着人口老龄化的出现，越来越需要能够自动化检测认知障碍。虽然现在已经有很多研究，但是还没有任何人探索过，什么特征能够不受语言的约束。所以ICASSP2023就举行了SPGC这个比赛，用来促进大家探索这类不受语种约束的特征。* 我们参赛了，提交了比赛结果，并且排名第二。 * AD检测的准确率是82.6% * 认知分数预测的RMSE是4.345

* SPGC比赛的目标是解决AD的自动预测问题，参赛者需要使用机器学习的方法，基于自发语音去检测AD患者。难点在于，参赛者使用英语数据集进行训练，然后泛化到希腊语上进行检测。* **问题核心** * **找到能够实现夸语言检测的语音中的音频特征。*** 我们的baseline是基于传统的机器学习，使用的是音频特征的Active data representation。AD检测的准确率是73.91%，认知分数预测的RMSE是4.95

模型基本结构* 这篇文章是介绍根据自发语音实现多语种AD检测，我们的方法主要有两部分构成： * 使用**不同的音频特征和静音相关的信息**，进行AD检测和MMSE预测 * 调整wav2vec2.0语言识别模型，将之应用在不同的频段上模型效果汇总* **整体性能是好于baseline模型的**，主要分两个方面进行介绍* AD检测方面，**准确率是73.9%**，通过在 0-1000Hz 频段语音上微调我们的双语 wav2vec2.0 预训练模型* MMSE回归阶段，

* 这是ICASSP-SPGC-2023 ADReSS-M挑战赛的比赛任务，目的是**研究，那种音频特征能够被泛化，用来研究跨语言的AD检测*** 比赛分为两个部分，一个是AD分类任务，还有一个MMSE分数预测任务* **难点** * 训练集是英语的，但是测试集是希腊语的* **操作思路*** 主要用到一下三种特征，将下述三种特征作为AD检测的标志 * OpenSmile提取副语言特征 * XLSR-53提取音频特征 * 通过转述文本，提取语义特征