论文笔记：Frozen Language Model Helps ECG Zero-Shot Learning

最新推荐文章于 2024-07-06 18:57:54 发布
最新推荐文章于 2024-07-06 18:57:54 发布
阅读量407 收藏 4
点赞数 7
分类专栏： 论文笔记 文章标签： 论文阅读 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/139597742
版权

2023 MIDL

1 intro

  • 心电图（ECG）被广泛应用于检测各种心脏疾病，包括心律失常、心脏病发作和心力衰竭等
  • 近些年深度学习方法在心电图数据分类领域取得了不错的效果。
    • 基于深度学习的ECG数据分类方法，通常以监督学习范式进行训练，需要大量的高质量标记数据
  • 一些特殊形式的心电图数据往往难以获得准确的数据标签，需要受过专业培训的心脏病专家对心电图进行手动解释，耗费大量时间及成本
    • ——>部分研究采用自监督预训练+微调的范式来对ECG数据进行分类
    • 相比于基于监督学习方法，这类方法能够更灵活地适配异常检测、心律失常分类等下游任务
    • 但仍然需要一定量的与下游任务相关的标记样本来对模型进行微调
  • 上述两种范式并不能实现零样本学习任务，即模型能够识别训练或微调数据中并没有见过的类别
    • 现有的零样本学习方法通过从已知类别样本中学习共享特征，然后基于未见类别特征的“描述”将共享特征推广到未见类别样本上来实现分类
    • 对于ECG数据，未见类别的“描述”可以借用外部医学领域知识，例如文本形式的心电图报告
    • ——>论文利用临床报告来引导ECG数据的预训练，实现ECG数据的零样本学习

2 方法

训练时候的文本： 

测试阶段的文本：

 

UQI-LIUWJ
关注
  • 7
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
huggingface-cli: error: invalid choice: ‘download‘解决方案
weixin_43178406的博客
11-09 6万+
本文主要介绍了huggingface-cli: error: invalid choice: 'download’解决方案，希望能对学习使用huggingface-cli的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
＜＜视觉问答NeurIPS＞＞2021：Multimodal Few-Shot Learning with Frozen Language Models
金克丝的博客
05-18 1246
目录 摘要： 一、介绍 二、Related Work 三、The Frozen Method 3.1、Architecture Pre-trained Auto-regressive Language Models Vision Encoder Visual Prefix 3.2、Training 3.3、Interface at Inference Time 3.4、Few-Shot Learning Definitions 四、Experiments: A Multi-Mod..
Zero-shot learning（一）：ZSL的基本概念
qq_33328642的博客
04-26 8034
** Zero-shot learning（一）：ZSL的基本概念 -------好久没中一区论文了，在此立个旗。今天把所有的思路整理出来，看过的论文之类的罗列出来。有错误的地方大家批评指正，内容多数是各界大牛的论文，大家一起研究。本文内容大家也可以随便转发或copy。 -------这一章都是基本概念，初学者、或者是对概念不清楚的等同行可以进来看看。基础比较深厚的可以去看后面的内容，或者不看，轻...
few-shot learning 小样本学习---综述
xys430381_1的专栏
05-30 8267
小样本学习（Few-shot Learning）综述 （出自阿里巴巴团队2019年4月） Few-shot Learning: A Survey YAQING WANG1,2 , QUANMING YAO 2019
【零样本草图检索】Semantic-Aware Knowledge Preservation for Zero-Shot Sketch-Based Image Retrieval
x124612的博客
09-08 1450
Motivation 1、SBIR任务的关键问题是为sketch/image两个不同的模态寻找一个共享的embedding空间，能够将每张sketch/image映射成这个特征空间中的高维向量。而Zero-Shot场景的目标是测试模型迁移知识到未知类别的能力。实验证明，现有的SBIR方法在Zero-Shot场景下的性能很不好，因为模型在source domain上过拟合，同时不能识别unseen ...
FSCE: Few-Shot Object Detection via Contrastive Proposal Encoding
小李的研究生学习日记
09-27 1万+
FSCE：通过对比建议编码进行少样本目标检测新出现的兴趣已被用于识别以前看不见的对象，因为训练示例很少，称为少镜头对象检测 (FSOD)。最近的研究表明，良好的特征嵌入是获得良好的少样本学习性能的关键。我们观察到具有不同 Intersection-ofUnion (IoU) 分数的对象提议类似于对比方法中使用的图像内增强。我们利用这种类比并结合监督对比学习，在 FSOD 中实现更稳健的对象表示。
LLMs之GPT：《Improving Language Understanding by Generative Pre-Training》翻译与解读
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
12-26 1万+
​ Paper：GPT之《Improving Language Understanding by Generative Pre-Training》翻译与解读 目录 GPT之《Improving Language Understanding by Generative Pre-Training》翻译与解读 GPT的demo体验 Abstract 1、Introduction 2 Related Work 3 Framework 4 Experiments 5 Analysis 6
【论文总结】FSCE: Few-Shot Object Detection via Contrastive Proposal Encoding（附翻译）
小张好难瘦的博客
11-05 2523
论文地址：https://arxiv.org/pdf/2103.05950.pdf 代码地址：http://https: //github.com/MegviiDetection/FSCE 摘要 Emerging interests have been brought to recognize previously unseen objects given very few training examples, known as few-shot object detection (FSOD). Re
Hands-On Machine Learning with Scikit-Learn and TensorFlow: Concepts, Tools, and
07-29
Through a series of recent breakthroughs, deep learning has boosted the entire field of machine learning. Now, even programmers who know close to nothing about this technology can use simple, ...
Spectrum Occupancy Prediction for Realistic Traffic Scenarios: Time Series versus Learning-Based Models
01-20
Spectrum occupancy information is necessary in a cognitive radio network (CRN) as it helps in modeling and predicting the spectrum availability for efficient dynamic spectrum access (DSA). However, in...
LLM.02 Mixed Distillation Helps Smaller Language Model Better Re
06-28
论文指出，尽管大型语言模型（Large Language Models, LLMs）在自然语言处理（NLP）任务上取得了显著成就，但它们的高计算和内存需求限制了实际应用。因此，研究者探索如何将LLMs的知识迁移到小型模型中，以在保持...
Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow 2ed 2019.epub
09-20
Through a series of recent breakthroughs, deep learning has boosted the entire field of machine learning. Now, even programmers who know close to nothing about this technology can use simple, ...
CCNA Routing and Switching Practice Tests: Exam 100-105, 200-105,200-125
03-29
Fully aligned with the latest versions of the exams, this book helps you focus your study time and remove uncertainties so you can face the exam with confidence. The CCNA Routing and Switching exams...
【论文阅读】-- TimeNotes：时间序列数据的有效图表可视化和交互技术研究
zijin-jdd的博客
07-01 794
收集传感器数据会产生大量的时间数据集，需要对其进行可视化、分析和呈现。使用一维时间序列图表，但当屏幕分辨率与数据相比较小时，就会出现问题。这可能会导致严重的过度绘制，从而需要提供有效的渲染和方法以允许与详细数据交互。常见的解决方案可以分为多尺度表示、基于频率和基于镜头的交互技术。在本文中，我们对现有方法进行了比较评估，例如 Stack Zoom [15] 和 ChronoLenses [38]，对每种方法进行了图形化概述，并对它们探索数据和与数据交互的能力进行了分类。
YOLO-world论文阅读笔记
qq_42575422的博客
07-02 887
结合CLIP和yolov8，CLIP提取文本特征，yolov8提取图像特征，核心是如何将文本特征和图像特征融合，这个特征融合模块要非常简单，最好融合一次就行，不用多多阶段融合，这样部署的时候就可以直接用CLIP离线编码好的文本特征，而不用再实时推理了，节约了大量的计算量，并且非常简单。之前的开集检测方法都需要在线编码文本，以获取需要检测的类别，而yolo-world只需要离线编码一次就行了，后面推理阶段直接用离线编码的文本就行，对部署非常友好。只微调分割头的话会有更好的开集分割能力（泛化能力）。
【论文阅读】-- Visual Analytics for Model Selection in Time Series Analysis
zijin-jdd的博客
07-05 798
对于流行病学、经济或环境科学等许多应用领域的领域专家来说，时间序列分析中的模型选择是一项具有挑战性的任务。用于此任务的方法需要人类判断和自动计算的紧密结合。然而，统计软件工具并不能通过交互式可视界面充分支持这种组合。我们提出了一个可视化分析流程来指导领域专家完成此任务。为此，我们开发了 TiMoVA 原型，该原型根据用户故事和专家对用户体验的迭代反馈来实现此流程。该原型通过使用场景、流行病学示例数据集以及对两位外部统计领域专家的采访进行了评估。
[论文笔记] 自对齐指令反翻译：SELF-ALIGNMENT WITH INSTRUCTION BACKTRANSLATION
最新发布
心宝的博客
07-06 58
整个方法分为两个主要步骤：自我增强（Self-Augmentation）：首先，使用一个小量的种子数据（即已标注好的指令和输出对）来微调一个基础语言模型（例如LLaMa）。接下来，用微调后的模型生成候选的训练数据，这些数据来自未标注的文本（称为“增强数据”）。自我筛选（Self-Curation）：在初始微调模型的基础上，选择高质量的增强数据用于下一次迭代的训练。经过多次迭代，每次选择出更高质量的数据，最终得到一个更强的模型。
【论文阅读】VASA-1: Lifelike Audio-Driven Talking FacesGenerated in Real Time
weixin_57974242的博客
07-05 102
我们设计并训练了一个具有表现力和可分离特征的面部潜在学习框架，该框架基于真实面部视频。然后，我们训练一个简单但功能强大的扩散变换器，用于建模运动分布，并在测试时根据音频和其他条件生成运动潜在编码。不直接生成视频帧，而是在潜在空间中生成整体面部动态和头部运动，条件是音频和其他信号。给定这些运动潜在编码，通过面部解码器生成视频帧，还接受从输入图像中提取的外观和身份特征作为输入。构建了一个面部潜在空间并训练面部编码器和解码器。
Warning: No matches found for: openvas-libraries-devel
03-29
As an AI language model, I cannot perform the installation of any software or package on your system. However, I can give you some suggestions to resolve the issue. If you are trying to install the `openvas-libraries-devel` package and getting a "No matches found" error, it might be possible that the package is not available in your system's repository. You can try the following solutions: 1. First, update your system's repository by running the following command: ``` sudo apt update ``` 2. If the above command does not solve the issue, try installing the `openvas-libraries-devel` package by using a different package manager like `yum` or `dnf`. These package managers are used in different Linux distributions. For example, if you are using CentOS, you can try installing the package with the following command: ``` sudo yum install openvas-libraries-devel ``` 3. If none of the above solutions work, you can manually download the package from the official website and install it on your system. Here is the link to download the package: https://pkgs.org/download/openvas-libraries-devel After downloading the package, you can install it on your system using the following command: ``` sudo dpkg -i /path/to/package.deb ``` Replace "/path/to/package.deb" with the actual path to the downloaded package. I hope this helps!

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值