小李好好学

Agile Domain Adaptation背景在现在的迁移学习工作中，一直有一个矛盾：准确率和运算成本之间的矛盾。在神经网络面对一个个的样本进行分类时，有的样本可能和训练数据非常相似，用很少的层数就可以分类出来，但有的可能和神经网络所见到的训练样本差别比较大，需要提取深层特征才能良好的分类。对于简单目标，进行深度特征提取就比较浪费运算资源了。所以有了这个工作。领域自适应是迁移学习领域中一...

多任务学习（MTL）已经在许多问题领域上取得了成功，其目的是使用一些与主任务相关的辅助任务来提高主任务的性能。但是，当辅助任务的有用性比较低时，主要任务得不到有效的先验信息。MTL模型的成功取决于这些辅助任务的正确选择，以及在替代训练期间这些任务的平衡混合比。这两个问题可以通过对所有任务组合进行手动选择或超参数调整来解决，但是当候选辅助任务的数量非常大时，这会导致诱导偏差或不可实现。为了解决这些问...

AUTOSEM:多任务学习中的自动任务选择和自动混合（一）背景知识知识结构：AUTOSEM: Automatic Task Selection and Mixing in Multi-Task Learning[1]1） Supervised Learning of Universal Sentence Representations from Natural Language Infe...

Task Selection Policies for Multitask Learning多任务学习和迁移学习虽然经常被分别表述，但其实二者的思想和任务都是一直的：利用其他数据的知识来提升任务目标的性能。在大多数多任务学习中，可以随着主任务学习进度的变化，选择、控制不同辅助任务的使用频率，通过这样的方法可以随着主任务的变化，给与最适合的辅助样本来提高性能。Curriculum Learning...

STL（Stratified Transfer Learning）分层迁移学习：问题描述提出了一个CDAR的问题：源域和目标域数据具有相同的维度、相同的标记，但是P（Xs）不等于 P（Xt）同时P（Ys|Xs）不等于P（Yt|Xt）。交叉领域学习的目标是利用源域的标记和数据来获取标记Yt。整体farmworke 分为三个部分：Majority VotingIntra-class Tran...

JDA（Joint Distribution adaptation ）一种联合分布自适应的方法。问题描述：迁移学习是一门利用源域知识来提升目标域知识的学科（这里说的比较笼统），JDA是一种即考虑两个域之间的边缘分布（ marginal distributation）又考虑条件分布（conditional distribution）的经典迁移学习方法。领域(Domain):一个领域（Domai...

TCA（Transfer Componet Analysis）是一种边缘分布自适应方法，属于迁移学习中数据分布自适应的一种经典方法。由香港科技大学Q Yang教授及其团队于2011年提出。下面对相关问题和方法进行总结。#问题描述在我们构建机器学习模型时，训练数据Xs的分布P（Xs）于 测试数据（或者是实际应用数据）Xt的分布P（Xt）并不一致。这会导致我们训练出的模型的鲁棒性变差，并且在测试中...