【笔记】迁移学习中度量方法MMD(Maximum Mean Discrepancy 最大均值差异)

最大均值差异度量常常用在迁移学习中。它度量在再生希尔伯特空间中两个分布的距离,是一种核学习方法。两个随机变量的 MMD平方距离为,以下是参考王晋东博士《迁移学习简明手册》

1. 公式推导 

  

  1.  为什么矩阵F范数的平方等于奇异值平方的和
  2.  关于矩阵的迹的几个性质证明
  3. MMD~Maximum Mean Discrepancy 最大均值差异

第三个博客讲的挺不错


对于MMD的公式不得不回忆一下线性代数的知识了,麻了~

补充知识:

1. 矩阵范数

 

2. 线性代数中一些常见的空间定义 

        什么是赋范线性空间、内积空间,度量空间,希尔伯特空间?现代数学的一个特点就是以集合为研究对象,这样的好处就是可以将很多不同问题的本质抽象出来,变成同一个问题, 当然这样的坏处就是描述起来比较抽象,很多人就难以理解了。
        既然是研究集合,每个人感兴趣的角度不同,研究的方向也就不同。为了能有效地研究集合,必须给集合赋子一些“结构”(从- 些具体问题抽象出来的结构) .从数学的本质来看,最基本的集合有两类:线性空间(有线性结构的集合)、度量空间 (有度量结构的集合)。
        对线性空间而言,主要研究集合的描述,直观地说就是如何清楚地告诉地别人这个集合是什么样子。为了描述清楚集合,就引入了基(相当于三维空间中的坐标系)的概念,所以对于一个线性空间来说,只要知道其基即可,集合中的元素只要知道其在给定基下的坐标即可。但线性空间中的元素没有“长度” (相当于三维空间中线段的长度),为了量化线性空间中的元素,所以又在线性空间引入特殊的"长度”,即范数。赋予了范数的线性空间即称为赋范线性空间。但赋范线性空间中两个元素之间没有角度的概念,所以在线性空间中又引入了内积的概念
        因为有度量,所以可以在度量空间、赋范线性空间以及内积空间中引入极限,但抽象空间中的极限与实数上的极限有个很大的不同就是, 极限点可能不在原来给定的集合中,所以又引入了完备的概念,完备的内积空间就称为Hilbert空间。这几个空间之间的关系是:

  • 线性空间与度量空间是两个不同的概念,没有交集。
  • 赋范线性空间就是赋子了范数的线性空间,也是度量空间(具有线性结构的度量空间)
  • 内积空间是赋范线性空间
  • 希尔伯特空间就是完备的内积空间。

图片识别迁移学习是一种利用已经训练好的模型在新的任务上进行微调的方法MMDMaximum Mean Discrepancy)是一种用于度量两个概率分布之间差异方法。下面是一个使用迁移学习MMD的图片识别代码示例: ```python import torch import torch.nn as nn import torch.optim as optim from torchvision import models, datasets, transforms from torch.utils.data import DataLoader # 加载预训练模型 model = models.resnet50(pretrained=True) num_features = model.fc.in_features model.fc = nn.Linear(num_features, num_classes) # 数据预处理 data_transforms = { 'train': transforms.Compose([ transforms.RandomResizedCrop(224), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]), 'val': transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) } # 加载数据集 data_dir = 'path_to_dataset' image_datasets = {x: datasets.ImageFolder(os.path.join(data_dir, x), data_transforms[x]) for x in ['train', 'val']} dataloaders = {x: DataLoader(image_datasets[x], batch_size=32, shuffle=True, num_workers=4) for x in ['train', 'val']} # 定义损失函数和优化器 criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9) # 迁移学习训练 def train_model(model, criterion, optimizer, num_epochs=10): device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model.to(device) best_acc = 0.0 for epoch in range(num_epochs): for phase in ['train', 'val']: if phase == 'train': model.train() else: model.eval() running_loss = 0.0 running_corrects = 0 for inputs, labels in dataloaders[phase]: inputs = inputs.to(device) labels = labels.to(device) optimizer.zero_grad() with torch.set_grad_enabled(phase == 'train'): outputs = model(inputs) _, preds = torch.max(outputs, 1) loss = criterion(outputs, labels) if phase == 'train': loss.backward() optimizer.step() running_loss += loss.item() * inputs.size(0) running_corrects += torch.sum(preds == labels.data) epoch_loss = running_loss / len(image_datasets[phase]) epoch_acc = running_corrects.double() / len(image_datasets[phase]) print('{} Loss: {:.4f} Acc: {:.4f}'.format(phase, epoch_loss, epoch_acc)) if phase == 'val' and epoch_acc > best_acc: best_acc = epoch_acc return model # 训练模型 model = train_model(model, criterion, optimizer, num_epochs=10) ``` 这段代码使用了ResNet-50作为预训练模型,并在最后一层添加了一个全连接层进行分类。数据集的预处理包括随机裁剪、水平翻转和归一化操作。训练过程中使用交叉熵损失函数和随机梯度下降优化器进行模型训练。在训练过程中,会输出每个epoch的训练集和验证集的损失和准确率。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值