![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
迁移学习笔记
gXh_007
偷师学艺,专业调包侠
展开
-
Pytorch_DDC(深度网络自适应,以resnet50为例)代码解读
最近跑了一下王晋东博士迁移学习简明手册上的深度网络自适应DDC的代码实现,在这里做一下笔记。来源:Githup开源链接总结代码的大体框架如下:1.数据集选择:office312.模型选择:Resnet503.所用到的.py文件如下图所示:下面来一个模块一个模块分析:data_loader.pyfrom torchvision import datasets, transformsimport torch#参数为 下载数据集的路径、batch_size、布尔型变量判断是否是训练集、数据原创 2020-12-09 21:01:41 · 5800 阅读 · 13 评论 -
Pytorch_finetune代码解读
最近跑了一下王晋东博士迁移学习简明手册上的深度网络的 finetune 代码实现,在这里做一下笔记。来源:Githup开源链接总结代码的大体框架如下:1.数据集选择:office31-------load data2.模型选择:Alexnet、Resnet50-------load model3.优化器设置4.模型训练5.模型检测下面来一个模块一个模块分析:1.load data# -*- coding: utf-8 -*-from torchvision import datase原创 2020-12-07 20:03:55 · 2424 阅读 · 12 评论 -
迁移学习_迁移学习简明手册(王晋东)_阅读笔记9
9.深度迁移学习深度学习优势: 由于深度学习直接对原始数据进行学习,所以其对比非深度方法还有两个优势:自动化地提取更具表现力的特征,以及满足了实际应用中的端到端 (End-to-End) 需求。最简单的深度迁移:fnetune优势:扩展:深度网络自适应:fnetune有它的先天不足: 它无法处理训练数据和测试数据分布不同的情况。自适应 能够使得源域和目标域的数据分布更加接近,从而使得网络的效果更好。设计深度迁移网络的基本准则: 决定自适应层,然后在这些层加入自适应度量,最后对原创 2020-11-24 20:24:35 · 1497 阅读 · 1 评论 -
迁移学习_迁移学习简明手册(王晋东)_阅读笔记7-8
7.第二类方法:特征选择特征选择法的基本假设是: 源域和目标域中均含有一部分公共的特征,在这部分公共的特征上,源领域和目标领域的数据分布是一致的。因此,此类方法的目标就是,通过机器学习方法,选择出这部分共享的特征,即可依据这些特征构建模型。核心方法: SCL(Structural Correspondence Learning):这个方法的目标就是我们说的,找到两个领域公共的那些特征。作者将这些公共的特征叫做Pivot feature。找出来这些Pivot feature,就完成了迁移学习的任务。原创 2020-11-23 16:06:51 · 2111 阅读 · 2 评论 -
迁移学习_迁移学习简明手册(王晋东)_阅读笔记5-6
5.迁移学习的基本方法基于样本迁移: 根据一定的权重生成规则,增加源域中跟目标域样本相似度高的样本的权重。增加狗类别样本的权重基于特征迁移: 通常假设源域和目标域间有一些交叉的特征,通过特征变换的方式互相迁移。又分为同构迁移,异构迁移。狗为同构迁移,花为异构迁移基于模型迁移: 假设条件为源域和目标域中的数据可以共享一些模型的参数,从源域和目标域中找到他们之间共享的参数信息,以实现迁移。基于关系迁移: 比较关注源域和目标域样本之间的关系。6.第一类方法:数据分布自适应原创 2020-11-20 20:09:39 · 3544 阅读 · 0 评论 -
迁移学习_迁移学习简明手册(王晋东)_阅读笔记4
4.迁移学习的基础知识迁移学习的问题形式化: 迁移学习的问题形式化,是进行一切研究的前提。在迁移学习中,有两个基本的概念:领域 (Domain) 和任务 (Task)。它们是最基础的概念。常用符号:总体思路:度量准则:常见的几种距离:相似度:KL 散度与 JS 距离:最大均值差异MMD:其他度量准则(用到时查询即可):附:作者个人网站手册给出的github资源链接...原创 2020-11-19 11:09:10 · 435 阅读 · 0 评论 -
迁移学习_迁移学习简明手册(王晋东)_阅读笔记1-3
1.迁移学习基本概念为什么要用迁移学习:迁移学习与其他学习的区别:负迁移:传递式迁移学习:传递迁移学习却可以利用处于这两个领域之间的若干领域,将知识传递式的完成迁移。2.迁移学习的研究领域迁移学习的分类:3.迁移学习的应用迁移学习的应用附:作者个人网站手册给出的github资源链接...原创 2020-11-19 09:45:17 · 632 阅读 · 0 评论