- 博客(13)
- 收藏
- 关注
RSS订阅原创 迁移学习系列--领域泛化
迁移学习的核心就是通过减少源域和目标域之间的分布差异，进而利用源域信息完成目标域的学习。与领域自适应问题强调适配源域与目标域之间的数据分布相比，领域泛化更强调有源域学习到的模型可以泛化到任意新出现的领域。领域自适应问题一般有一个目标域（或多个目标域），领域泛化问题没有这个要求，重点强调模型对任意未知的目标域都有一定的学习能力。领域泛化的两种基础模型：（1）将多个领域的数据合并并进行模型，得到一个共享模型（2）每个领域训练一个独立的模型，采用集成思想对未知目标域进行预测领域泛化常用方法：1. 基于
2021-06-16 16:50:50
3152
原创 迁移学习系列--深度迁移学习
深度迁移学习中比较常用的策略是预训练-微调但是预训练方法有其先天的不足：无法直接处理训练数据和测试数据分布不同的情况，同时微调时目标数据需要标签（无监督域适应场景不适合）。因此需要探索新的迁移模式，以广泛适应新的场景。1. 数据分布自适应的深度迁移学习方法1.1 边缘分布自适应例如，在特征层后面加入最大均值差异（MMD），用来计算源域与目标域之间的差异，并将其加入网络的损失找那个进行训练，促使网络学习域不变特征。另有方法采用多核MMD度量，也取得显著效果。1.2 条件、联合与动态分布自适应局部M
2021-06-15 23:46:22
1975
4
原创 迁移学习系列--方法篇
已有的迁移学习方法大致可以分为三类：（1）基于样本的迁移学习方法（2）基于特征的迁移学习方法（3）基于模型的迁移学习方法以下分别介绍上述三种类型的迁移学习方法：1. 基于样本的迁移学习方法核心思想：从源域数据集中筛选出部分数据，使得筛选出的部分数据与目标数据概率分布近似。1.1 基于样本选择的方法假设源域与目标域样本条件分布不同但边缘分布相似，可以根据基于距离度量的方法和基于元学习的方法等方法进行样本选择。1.2 基于样本权重的方法假设源域与目标域样本条件分布相似但边缘分布不同，通过概率
2021-06-15 19:44:18
5214
原创 迁移学习系列--迁移学习理论
1、域适应理论分类（1）基于差异的误差界限（2）基于积分概率矩阵的误差界限（3）基于PCA-Bayesain的误差界限基于差异的误差界限指出目标域泛化误差受源域期望误差和源域与目标域之间的分布差异影响。基于积分概率矩阵的理论主要包括优化传输和最大均值差异（MMD）两类。前者常用wasserstein（推土机）聚类度量。基于PCA-Bayesain的误差的理论，模型需要对一组分类器进行多数投票，根据其不一致性进行泛化误差的界定。迁移学习理解界限同一范式：...
2021-06-08 17:06:26
375
原创 迁移学习系列--基本问题
1 迁移学习目标利用源域数据学习一个目标域上的函数，使得目标域上的期望误差最小。2. 迁移学习基本问题2.1 何时迁移：判断当前任务是否适合进行迁移学习2.2 何处迁移：对什么进行知识迁移（神经网络权值、特征变换矩阵）2.3 如何迁移：迁移学习方法3 负迁移迁移学习指的是利用数据和领域之间存在的相似性关系，把之前学习到的特征，应用于新的未知领域。如果源域数据与目标域数据不相似，仍然强制迁移就会产生负面效果，称之为负迁移。引起负迁移的主要因素有：（1）源域数据质量过差（2）目标域质量过差
2021-06-08 10:36:04
1002
原创 迁移学习系列--迁移学习入门(1)
1.1 迁移学习“温故而知新，可以为师矣”-----《论语.为政》这句话大概的意思就是，在学习新知识的时候，如果能先对旧知识加以温习，可以获得新的理解和体会。凭借这样的能力，就可以当老师了。这意味着，在学习新知识的时候，可以寻找旧知识与新知识之间的相似点，帮助对新知识的理解和掌握。从旧知识到新知识过程，可以看成是知识迁移。类似的引出迁移学习：迁移学习可以利用数据、任务或模型之间的相似性，将旧领域学习过的模型和知识用于新的领域。迁移学习与传统有监督机器学习差异：**数据分布：**传统机器学习训练数
2021-06-07 20:16:28
408
原创 图像分类
图像分类图像分类是根据图像的语义信息将不同类别图像区分开来，是计算机视觉中重要的基本问题，也是目标检测、语义分割、目标跟踪、行为分析等其他高层视觉任务的基础。传统图像分割一般有以下几个过程：1.手工提取特征，例如形态特性、颜色特征和纹理特征2.使用分类器判别物体类别，例如使用SVM分类器而基于深度学习的图像分类方法，可以通过有监督或无监督的方式学习层次化的特征描述，从而取代了手工设计或选...
2020-02-25 21:26:56
902
原创 目标检测
目标检测图像分类、目标检测、分割是计算机视觉领域的三大任务。目标检测的目标就是识别+定位。以下介绍目标检测几个基本概念：锚框：目标检测算法通常会在输入图像中采样大量的区域，然后判断这些区域中是否包含我们感兴趣的目标，并调整区域边缘从而更准确地预测目标的真实边界框（ground-truth bounding box）。这里我们介绍其中的一种方法：它以每个像素为中心生成多个大小和宽高比（as...
2020-02-25 18:33:46
1336
原创 Transformer与seq2seq
Transformer与seq2seqTransformer模型的架构与seq2seq模型相似，Transformer同样基于编码器-解码器架构，其区别主要在于以下三点：Transformer blocks：将seq2seq模型重的循环网络替换为了Transformer Blocks，该模块包含一个多头注意力层（Multi-head Attention Layers）以及两个position-...
2020-02-18 16:55:19
4261
原创 pytorch之卷积神经网络nn.conv2d
pytorch之卷积神经网络nn.conv2d卷积网络最基本的是卷积层，使用使用Pytorch中的nn.Conv2d类来实现二维卷积层，主要关注以下几个构造函数参数：nn.Conv2d(self, in_channels, out_channels, kernel_size, stride, padding,bias=True))参数：in_channel: 输入数据的通道数；out_c...
2020-02-17 20:59:13
992
原创 过拟合、欠拟合、梯度消失、梯度爆炸
过拟合、欠拟合、梯度消失、梯度爆炸模型训练中经常出现的两类典型问题：欠拟合：模型训练过程中无法得到较低的训练误差过拟合：模型的训练误差远小于它在测试数据集上的误差实践中，可能需要同时应对欠拟合和过拟合。遇到这种问题可以从模型复杂度和训练数据集大小进行讨论。梯度消失出现的原因：在深层网络中，如果激活函数的导数小于1，靠近输入层的参数的梯度因为乘了很多的小于1的数而越来越小，最终就会趋近于...
2020-02-16 20:18:31
396
1
原创 pytorch循环神经网络参数说明
pytorch之循环神经网络(RNN）时常遇到循环神经网络，偶尔也会使用循环神经网络模型，但是很容易将RNN中一些参数含义忘记，既然不能像循环神经网络能记忆历史信息，那我只好将RNN参数内容整理成文档，方便日后查阅使用。以下是RNN中参数含义：input_size:输入x的特征维度hidden_size: 隐藏层特征数量num_layers:网络层数，默认为1层。若2层，两个RNN单元进行...
2020-02-14 17:11:17
704
pytorch之gather函数
pytorch学习笔记之gather函数作为一名pytorch的初学者，力争将学习过程中遇到的不懂函数尽量弄懂。俗话说“基础不牢，地动山摇”，可见夯实基础非常重要。最近学习过程中遇到不太懂的函数gather，查阅相关文档最终将这个函数弄明白，下面分享个人对gather函数理解。import torch as tprint(t.__version__)a= t.Tensor([[1,3,5]...
2020-02-13 14:56:37
581
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人