《迁移学习简明手册》阅读笔记——特征选择

最新推荐文章于 2025-04-02 16:50:37 发布
最新推荐文章于 2025-04-02 16:50:37 发布
阅读量1.3k 收藏 6
点赞数
分类专栏： 迁移学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34219959/article/details/106059973
版权

文章目录

特征选择

主要思想

源域和目标域中均含有一部分公共的特征，在这部分公共的特征上，源领域和目标领域的数据分布是一致的。因此，此类方法的目标就是，通过机器学习方法，选择出这部分共享的特征，即可依据这些特征构建模型

SCL 方法

作者将这些公共的特征叫做 Pivot feature。找出来这些 Pivot feature，就完成了迁移学习的任务
在这里插入图片描述
Pivot feature 指的是在文本分类中，在不同领域中出现频次较高的那些词。

  • 特征选择法从源域和目标域中选择提取共享的特征，建立统一模型
  • 通常与分布自适应方法进行结合
  • 通常采用稀疏表示 ∣ ∣ A ∣ ∣ 2 , 1
最低0.47元/天 解锁文章
无监督特征对齐的迁移学习理论框架
m0_61363749的博客
12-13 5620
0、前言 文献《基于无监督特征对齐的变负载下滚动轴承故障诊断方法》引入迁移学习中能够实现无监督领域适应的子空间对齐(subspace alignment，SA)算法并进行改进，提出将核映射方法与 SA 算法相结合。将训练数据和测试数据映射到相同高维空间，在高维空间的子空间进行特征对齐，以增加数据类间区分性，实现不同负载下源领域特征向目标领域特征对齐。具体理论可参考该文献。 1、无监督特征对齐 首先，究竟应该如何理解“对齐”？先看下述分析。 无监督特征对齐...
基于实例和特征的迁移学习算法研究
07-27
基于实例和特征的迁移学习算法研究，迁移学习领域比较好的参考文献。
（6-1-01）学习与自适应机制：迁移学习与领域适应（1）预训练模型迁移策略
最新发布
码农三叔
04-02 1144
在通用 AI Agent 中，迁移学习通过知识迁移提高新任务的学习效率，加速模型适应新场景。在线学习实时更新模型，使其动态适应环境变化，增强系统的实时性和灵活性。自适应机制让智能体根据反馈自动调整策略和参数，提升性能和鲁棒性，确保在复杂多变环境中有效运行。
面向迁移学习的文本特征对齐算法1
08-04
摘要源领域和目标领域特征空间的不一致导致迁移学习准确率下降为此提出一种基于的 不 同领 域 特 征 对 齐 算 法 只 选 取 形 容 词 副 词 名 词 动
论文阅读笔记《Meta-Transfer Learning for Few-Shot Learning》
深视
05-28 2510
核心思想   本文提出一种基于迁移学习的元学习算法（Meta-Transfer Learning，MTL）用于解决小样本学习问题，通过对深层卷积神经网络的权重进行放缩（Scaling）和平移（Shifting），以适应新的样本任务。传统的迁移学习算法，通常是在一个数据集上进行预训练得到一个较好的初始模型，然后再替换掉最上层的全连接层和分类器（也可能不替换），在新的数据集上进行微调训练（finetune），最后实现从原始数据集到新数据集的迁移过程。但这种方式一方面要求新数据集要有足够多的数据量，支持深层卷积神
Feature Corrective Transfer Learning （2024CVPR）
weixin_47020721的博客
07-30 683
特征相似性损失Lfs旨在有效地衡量在理想图像上训练的模型特征图与在非理想图像上训练的模型特征图在结构和内容上的差异。该机制确保了平衡的模型训练，优先考虑早期阶段的主要差异以获得整体性能，并随着特征图差异的减少，在后期阶段转向更精细的调整，促进细微的结构对齐，以提高目标检测精度。它评估由半径rL定义的扩展领域内梯度变化的一致性。时变衰减因子，引入了一种动态机制来调整整个训练期间损失函数的响应性，这一因素的实施促进了模型重点的方法转变，从纠正初始训练阶段的突出结构差异到在训练过程的后续阶段磨练更精细的细节。
《迁移学习简明手册》阅读笔记——基本知识
iwtbs
05-10 2028
文章目录迁移学习的问题形式化领域任务总体思路度量准则常见的几种距离相似度KL 散度与 JS 距离最大均值差异 MMDPrincipal AngleA-distance迁移学习的基本方法基于样本的迁移基于特征的迁移基于模型的迁移基于关系的迁移 迁移学习的问题形式化 领域 领域 (Domain): 是进行学习的主体。领域主要由两部分构成:数据和生成这些数据的概率分布 涉及到迁移，所以对应于两个基本的领域:源领域 和 目标领域 任务 任务: 是学习的目标。任务主要由两部分组成:标签和标签对应的函数。 总体思路
《迁移学习简明手册》阅读笔记——数据分布自适应
iwtbs
05-11 5369
文章目录概念边缘分布自适应基本思路TCA解法总结 概念 数据分布自适应是一类最常用的迁移学习方法。这种方法 的基本思想是，由于源域和目标域的数据概率分布不同，那么最直接的方式就是通过一些变换，将不同的数据分布的距离拉近 数据的边缘分布不同，就是数据整体不相似 数据的条件分布不同，就是数据整体相似，但是具体到每个类里，都不太相似 根据数据分布的性质，这类方法又可以分为边缘分布自适应、条件分布自适应、以及联 合分布自适应 边缘分布自适应 基本思路 目标是减小源域和目标域 的边缘概率分布的距离，从而完成迁移学习。
迁移学习——入门笔记
Yichair的博客
09-26 2611
一、简介 背景： 现如今数据爆炸： 对机器学习模型来说要求快速构建，强泛化 对于数据来说，大部分数据没有标签 所以收集标签数据和从头开始构建一个模型都是代价高昂的，需要对模型和带有标签的数据进行重用 传统机器学习：假设数据服从相同分布，但我们希望针对不同分布的数据，快速构建模型，实现数据标记 迁移学习(transfer learning)通俗来讲，就是运用已有的知识来学习新的知识，核心是找到已...
软考笔记——9.软件工程
weixin_47940048的博客
08-17 6866
软件需求：是指用户对系统在功能、行为、性能、设计约束等方面的期望。是指用户解决问题或达到目标所需的条件或能力，是系统或系统部件要满足合同、标准、规范或其他正式规定文档所需具有的条件或能力，以及反映这些条件或能力的文档说明。分为需求开发和需求管理。
迁移学习（COAL）《Generalized Domain Adaptation with Covariate and Label Shift CO-ALignment》
2301_76725413的博客
08-15 208
提出问题：标签偏移；解决方法：原型分类器模拟类特征分布，并使用 Minimax Entropy 实现条件特征对齐；使用高置信度目标样本伪标签实现标签分布修正；假设条件标签分布不变 p(y∣x)=q(y∣x)p(y∣x)=q(y∣x)，只有特征偏移 p(x)≠q(x)p(x)≠q(x)，忽略标签偏移 p(y)≠q(y)p(y)≠q(y)。场景不同，标签跨域转移 p(y)≠q(y)p(y)≠q(y) 很常见；如果存在标签偏移，则当前的 UDA 工作性能显著下降；
【机器学习：二十三、迁移学习】
计算机领域博客，与时俱进的思想与技术。
01-16 1652
迁移学习（Transfer Learning）是机器学习中的一种方法，它通过将一个领域中学到的知识（通常称为源领域）应用到另一个相关领域（目标领域）来完成任务。传统机器学习模型通常从零开始训练，依赖大量标注数据。而迁移学习则不同，它通过迁移已有的知识，不仅降低了对目标领域标注数据的需求，还能够提升模型的学习效率和精度。比如，一个在ImageNet数据集上训练的图像分类模型可以迁移到医学影像分类任务中，通过微调让模型适应新的任务。
金融风控实战——迁移学习
Grateful_Dead424的博客
03-10 2939
迁移学习 为什么做迁移？ 源域样本和目标域样本分布有区别，目标域样本量又不够。 场景 思考我们平时建模会使用到迁移学习的一些场景： 1）新开了某个消费分期的场景只有少量样本，需要用其他场景的数据进行建模； 2）业务被迫停止3个月后项目重启，大部分训练样本比较老旧，新的训练样本又不够； 3）在某个新的国家开展了类似国内的业务，因为国情不同，显然部分特征分布是不同的； 主要任务 缩小边缘分布之间和条件分布下的差异。 几个基本概念： Domain（域）：包括两部分：feature space（特征空间）和pr
机器学习(十一) 迁移学习
weixin_53598445的博客
02-25 3668
目录前言1 原理 前言   迁移学习在计算机视觉任务和自然语言处理任务中经常使用，这些模型往往需要大数据、复杂的网络结构。如果使用迁移学习，可将预训练的模型作为新模型的起点，这些预训练的模型在开发神经网络的时候已经在大数据集上训练好、模型设计也比较好，这样的模型通用性也比较好。如果要解决的问题与这些模型相关性较强，那么使用这些预训练模型，将大大地提升模型的性能和泛化能力。 1 原理   迁移学习(Transfer Learning)是机器学习的一个研究方向，主要研究如何将任务 A 上面学习到的知识迁移到任务
【赠书】迁移学习如何入门，看看这本简明手册即可
hacker_long的专栏
06-04 445
‍‍相信很多学迁移学习的同学都阅读过知乎上的《小王爱迁移》系列文章或在GitHub上开源发布的迁移学习简明手册，手册上线已逾3年，帮助了众多读者快速入门迁移学习，现在这本手册已全面更新，形...
【迁移学习(Transfer L)全面指南】Deep CORAL几何特征变换
李响
10-25 2014
论文名称：Deep CORAL: Correlation Alignment for Deep Domain Adaptation 论文地址：https://arxiv.org/pdf/1607.01719.pdf 文章目录1 概述2 论文的CORAL loss3 CORAL loss代码 1 概述 解决的问题 深度神经网络可以在大规模的标注数据中学校到特征，但是输入数据分布不同的时候泛化不是很好。因此提出了domain adaptation来弥补性能。本文针对target domain没有标注数据情况
迁移学习_迁移学习简明手册(王晋东)_阅读笔记7-8
gXh的博客
11-23 2348
7.第二类方法：特征选择 特征选择法的基本假设是： 源域和目标域中均含有一部分公共的特征，在这部分公共的特征上，源领域和目标领域的数据分布是一致的。因此，此类方法的目标就是，通过机器学习方法，选择出这部分共享的特征，即可依据这些特征构建模型。 核心方法: SCL(Structural Correspondence Learning):这个方法的目标就是我们说的，找到两个领域公共的那些特征。作者将这些公共的特征叫做Pivot feature。找出来这些Pivot feature，就完成了迁移学习的任务。
什么是迁移学习？
学习与分享人工智能技术
11-29 2185
本文详细介绍了迁移学习的概念以及基本策略。
迁移学习入门指南：王晋东博士的简明手册
"王晋东博士的《迁移学习简明手册》是一份深入浅出的教程，旨在帮助初学者快速理解并掌握迁移学习的基本概念和方法。手册覆盖了迁移学习的历史、发展、应用以及相关基础知识，同时也包括实际操作的实践指导。" 在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值