[paper] Zero-Shot Learning with Semantic Output Codes [NIPS 2009]

最新推荐文章于 2025-03-24 09:32:19 发布
最新推荐文章于 2025-03-24 09:32:19 发布
阅读量866 收藏
点赞数
分类专栏： machine learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hackspace/article/details/80021564
版权
本文介绍了Zero-Shot Learning的概念，它在已知领域训练高性能分类器后，尝试解决新领域的分类问题，即使新领域样本稀少或不存在。该方法基于迁移学习，通过构建语义输出码分类器利用知识库进行类别外推。核心思想是定义一种使用Y的语义属性知识库的分类器，以抽象出新类。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Zero-Shot Learning with Semantic Output Codes [NIPS 2009]


zero-shot和one-shot：

在分类场景下（或序列标注或NLU），在已知的几个topic或domain内（domain A,B,C），已经训练出了性能较好的分类器。此时想解决针对新的domain D的分类问题，然而D domain的样本非常少（one-shot），或者没有（zero-shot）。此时如何根据ABC类别的样本，或MACHINE，生成D domain的machine，就是zero-shot model要解决的问题。

其实是transfer-learning的一种。

tansfer-learning核心思想：source-domain->pivot->general Feature Space->target-domain

典型应用场景：如图像检测，y的value太多，很难见到全部y和全部x。

成功案例：如语音识别，能识别OOV的词


核心问题：

omitted from the training set


核心思想：

define the notion of a semantic output code classifier (SOC) which utilizes a knowledge base of semantic properties of Y to extrapolate to n

最低0.47元/天 解锁文章
Graph Neural Networks: A Review of Methods and Applications（图神经网络：方法与应用综述）
weixin_41697507的博客
07-06 5676
Graph Neural Networks: A Review of Methods and Applications Jie Zhou , Ganqu Cui , Zhengyan Zhang , Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun Abstract—Lots of learning tasks req...
零样本学习 (ZeroShot Learning)
AI智能涌现深度研究
09-15 1320
零样本学习 (Zero-Shot Learning) 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词 零样本学习，分类，预训练模型，迁移学习，知识蒸馏，多标签分类，跨模态学习
Zero-Shot Learning零样本学习 入门 基本概念
River_J777的博客
12-19 1926
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
论文阅读——Zero-Shot Learning with Semantic Output Codes
jackeydeng123的博客
07-12 918
    最近实验室师兄师姐在搞Zero-Shot Learning的东西，我也来凑热闹看看相关论文。    定义一：语义特征空间（Semantic Feature Space）            如，用一个五维的语义特征空间来描述动物的高级特性，每一维分别代表：是否有毛？是否有尾巴？在水下能否呼吸？是不是吃肉？运动起来是不是很慢？    在这个语义特征空间，一只狗可以用一点{1，1，0，1，0...
零样本学习（Zero-shot learning）以及它与少样本学习（Few-shot learning）、单样本学习（One-shot learning）、监督学习（Supervised learn
最新发布
hh051020的博客
03-24 497
零样本学习利用辅助语义信息，在没有任何目标类别样本的情况下进行预测，适合应对类别众多或不断扩展的应用场景。少样本学习和单样本学习则侧重于如何在只有极少数据的情况下提取足够信息进行分类，两者主要区别在于每个类别可用的样本数。监督学习是依赖充足标注数据的传统方法，其难点在于数据采集与标注的成本。除此之外，“shot”范式还包括多样本（many-shot）、通用的 k-shot 以及一些结合跨域、半监督等情形的变体，都是为了应对现实应用中数据不足或数据分布差异等问题而发展出的迁移学习策略。
Zero-shot learning（零样本学习）
weixin_30341735的博客
07-07 1777
一、介绍 在传统的分类模型中，为了解决多分类问题（例如三个类别：猫、狗和猪），就需要提供大量的猫、狗和猪的图片用以模型训练，然后给定一张新的图片，就能判定属于猫、狗或猪的其中哪一类。但是对于之前训练图片未出现的类别（例如牛），这个模型便无法将牛识别出来，而ZSL就是为了解决这种问题。在ZSL中，某一类别在训练样本中未出现，但是我们知道这个类别的特征，然后通过语料知识库，便可以将这个类别识别出来。 ...
zero-shot learning
autocyz
06-01 6056
Zero-shot Learning参考文献《Zero-Shot Learning with Semantic Output Codes》背景在分类问题中，因为数据库大小有限，因此在使用分类模型进行预测时，出现了在训练集没有出现过的类别。举个例子，我们有个小型数据库，里面所含的类别只有人、鸟、汽车，经过我们的训练，发现模型对于这些类别的目标已经有很好的性能了，但是突然出现了一个新的类别——狗，此时模
Zero shot learning
qq_51143009的博客
12-02 3331
Zero shot learning 主要考察的问题是如何建立语义和视觉特征的关系（视觉特征一般用预训练好的CNN提取特征，不再进行fine-tine） 为了预测从未在训练集上出现的目标种类，仿照人的思维迁移，能根据某些特征描述（他和谁长得像，有点类似于科学家第一次看见鸭嘴兽的感觉），猜测一个从未见过的目标种类。 Zero shot learning:假设斑马是未见过的类别，但根据描述和过去知识的印象即马（和马相似）、老虎（有条纹）、熊猫（颜色）相似进行推理出斑马的具体形态，从而能对新对象进行辨认。 零
聊聊zero-shot learning 和 one-shot learning
hestendelin的专栏
11-27 857
Palatucci, Mark, et al. "Zero-shot learning with semantic output codes."Advances in ...
五大CV顶会，两大机器人顶会关于few-shot-learning论文汇总(NIPS,ICML,CVPR,ECCV,ICCV)
vanlish的博客
04-19 2342
五大CV顶会，两大机器人顶会关于few-shot-learning论文汇总1. NIPS1.1 2015NIPS1.2 2016NIPS1.3 2017NIPS1.4 2018NIPS1.5 2019NIPS2. ICML2.1 2015ICML2.2 2016ICML2.3 2017ICML2.4 2018ICML2.5 2019ICML3. CVPR3.1 2015CVPR3.2 2016CV...
论文浅尝 | 当知识图谱遇上零样本学习——零样本学习综述
开放知识图谱
09-26 6624
随着监督学习在机器学习领域取得的巨大发展，如何减少人工在样本方面的处理工作，以及如何使模型快速适应层出不穷的新样本，成为亟待解决的问题。零样本学习（Zero-Shot L...
Zero-Shot learning
qq_38096703的博客
06-14 1万+
Zero-Shot learning在传统的分类模型中，为了解决多分类问题（例如三个类别：猫、狗和猪），就需要提供大量的猫、狗和猪的图片用以模型训练，然后给定一张新的图片，就能判定属于猫、狗或猪的其中哪一类。但是对于之前训练图片未出现的类别（例如牛），这个模型便无法将牛识别出来，而ZSL就是为了解决这种问题。在ZSL中，某一类别在训练样本中未出现，但是我们知道这个类别的特征，然后通过语料知识库，便...
ZeroShotLearningwithGCNCVPR2018的实现代码
08-11
This code is a re-implementation of the zero-shot classification in ImageNet in the paper Zero-shot Recognition via Semantic Embeddings and Knowledge Graphs.
近期必读的6篇 NeurIPS 2019 的零样本学习（Zero-Shot Learning）论文.zip
12-24
以下整理了NIPS 2019零样本学习(Zero-Shot Learning)相关的论文供大家学习收藏—零样本知识迁移、Transductive ZSL、多注意力定位、ZSL语义分割、对偶对抗语义一致网络。
零次学习（Zero-Shot Learning）
HelloWorld的博客
05-24 2510
这可以通过多种方式实现，例如，可以训练一个神经网络，使得同一类别的样本的特征在类别嵌入空间中尽可能接近，而不同类别的样本的特征在类别嵌入空间中尽可能远离。请注意，这只是ZSL的一个非常简化的版本，实际的ZSL模型可能会考虑更复杂的情况，例如类别间的关系，或者使用更复杂的映射函数等。我建议你在阅读这些论文的同时，也查阅一下他们的引用文献，以了解更多相关的工作。零次学习（Zero-Shot Learning，ZSL）的基本原理是通过学习已知类别和语义描述之间的映射，从而理解并识别新的、未曾见过的类别。
（转）零次学习（Zero-Shot Learning）入门
热门推荐
一路向北
08-22 4万+
零次学习（Zero-Shot Learning）入门 小栗子    转自：https://zhuanlan.zhihu.com/p/34656727?spm=5176.9876270.0.0.399ce44aXsg7cN  谢谢作者 事物的本质反映世界构成的规律 408 人赞了该文章 很久没有更文章了，主要是没有找到zero-shot learning(ZSL)方面我特别想要分享的...
深度学习中的ZeroshotLearning
AI天才研究院
01-28 893
1.背景介绍 在深度学习领域，Zero-shot Learning(零距离学习)是一种非常有趣的研究方向。它旨在解决一种特定的学习问题：如何在没有任何来自新类别的训练数据的情况下，对新类别进行分类和识别。这篇文章将涵盖 Zero-shot Learning 的背景、核心概念、算法原理、最佳实践、应用场景、工具和资源推荐以及未来发展趋势与挑战。 1. 背景介绍 在传统的机器学习和深度学习中，我...
Zero-shot Learning学习笔记
爱学习爱运动的专栏
11-01 784
Zero-shot Learning学习笔记
什么是zero-shot 、few shot
02-11
### Few-Shot 学习与 Zero-Shot 学习的概念 #### Few-Shot 学习 Few-shot 学习是指机器学习模型能够在仅有少数几个样例的情况下完成新任务的能力。这种技术特别适用于数据稀缺的情况，在实际应用中非常有价值，因为获取大量标注数据往往成本高昂且耗时。 对于 few-shot learning 来说，算法通常会利用预先积累的知识来帮助理解和泛化到新的类别上。例如，如果一个图像分类器已经被训练用来区分猫、狗和其他常见宠物，则当面对从未见过的新物种如狐狸时，只需提供少量带有标签的例子就能快速调整并学会识别这一新类别[^1]。 ```python def train_few_shot_model(model, support_set, query_set): """ 训练少样本学习模型 :param model: 预先训练的基础模型 :param support_set: 支持集，含少量标记样本 :param query_set: 查询集，用于评估性能的数据集合 """ # 更新模型参数以适应新类别的特点 updated_parameters = fine_tune_on_support_set(support_set) predictions = [] for sample in query_set: prediction = predict_with_updated_params(sample, updated_parameters) predictions.append(prediction) return predictions ``` #### Zero-Shot 学习 Zero-shot 学习则更进一步，它允许模型在完全没有看到过目标类别的任何实例的前提下做出预测。这听起来似乎不可能实现，但实际上通过引入额外的信息源——比如属性描述或语义表示——使得这样的推断成为可能。具体而言，zero-shot 方法依赖于跨模态映射机制，即将不同类型的特征空间关联起来，从而即使是在缺乏直接观察的情况下也能建立起合理的判断依据[^2]。 考虑这样一个场景：给定一组已知动物种类及其视觉外观特征（如颜色、形状），以及文字形式的其他未知生物特性说明；借助这些辅助资料，系统应当有能力推测出未曾接触过的实体是什么样子，并据此作出相应决策。 ```python from sklearn.metrics.pairwise import cosine_similarity def zero_shot_predict(known_features, unknown_descriptions, new_instance_description): """ 使用零样本学习进行预测 :param known_features: 已知类别的特征向量矩阵 :param unknown_descriptions: 未见类别对应的自然语言描述列表 :param new_instance_description: 新实例的文字描述字符串 """ similarities = [] for desc in unknown_descriptions: sim_score = calculate_semantic_similarity(new_instance_description, desc) similarities.append(sim_score) best_match_index = np.argmax(similarities) predicted_class_vector = get_corresponding_feature_vector(best_match_index, known_features) return predicted_class_vector ``` 两种方法的主要差异在于它们对待新颖事物的方式： - **样本需求**：few- **信息来源**：前者主要依靠有限数量的实际观测来进行归纳推理，后者更多地依赖间接知识（如文本描述或其他形式的相关线索）来填补空白。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值