2024年7月16日~2024年7月22日周报

摘星星的屋顶

于 2024-07-22 21:21:48 发布

阅读量718

点赞数 13

分类专栏：周报文章标签：人工智能学习机器学习

本文链接：https://blog.csdn.net/m0_53096519/article/details/140609413

版权

周报专栏收录该内容

22 篇文章 1 订阅

订阅专栏

一、前言

上周参加了闵老师组织的机器学习培训讨论会，收获颇丰。

本周参加了一些师兄师姐的论文讨论会议，对撰写论文中的很多细节和注意事项有了更加明确的认识。通过交流，我对论文结构、逻辑等关键内容有了更深的理解，学到了一些实用的写作技巧。另外，完成了论文初稿。

二、完成情况

2.1 数据训练的方式

2.1.1 迁移学习

迁移学习允许模型将在一个任务（源任务）上学到的知识应用到另一个相关或不同的任务（目标任务）中，通过知识迁移（如模型参数、特征表示、数据关系等）来实现。该方法在数据稀缺、计算资源有限或领域迁移等情况下尤为有用，因为它能够显著减少对大量标记数据的需求，并加速模型在新任务上的学习过程。

源任务：指迁移学习中的原始任务，通常具有充足的数据和训练好的模型。
目标任务：指需要利用源任务知识来改进学习效果的任务。

核心原理：

知识迁移：迁移学习的核心在于将源任务中学到的知识迁移到目标任务中。这种迁移可以是显式的（如直接复用预训练模型的参数）或隐式的（如通过学习到的特征表示进行迁移）。
相似性评估：在进行迁移之前，需要评估源任务和目标任务之间的相似性。相似性越高，迁移学习的效果通常越好。这种相似性可以基于数据的分布、特征的一致性、模型的架构或任务的本质等方面进行评估。
模型适应：在将源任务的知识迁移到目标任务时，可能需要对模型进行一定的适应或调整。这包括微调模型的参数、调整模型的结构或添加新的层等，以适应目标任务的特定需求和数据分布。

2.1.2 域自适应学习

域自适应学习（Domain Adaptation Learning）旨在解决训练样本和测试样本概率分布不一致的问题。这是一种迁移学习方法，它利用从一个或多个源域（具有大量标记数据的领域）学到的知识，来提高在目标域（标记数据不足或没有的领域）上的模型性能。

基本思想：寻找源域和目标域之间的共同潜在因素，并通过一定的方法使它们在新的特征空间下分布相似或相同，从而实现在目标域上的良好性能。这通常涉及将源域和目标域的数据映射到一个新的特征空间中，并在这个空间下寻找合适的度量准则或模型参数。

域自适应学习的方法可以大致分为以下几类：

样例加权域自适应学习：对训练样本附加权值，使加权后的训练样本的概率分布逼近目标域的概率分布，如重要性抽样、核均值匹配和Ad-aBoost等。
特征表示域自适应学习：将样例映射到新的特征空间中，通过选择合适的特征表示方式，使源域和目标域在新的特征空间下的分布相同或尽可能相同。基于特征表示的域自适应学习算法包括基于核映射函数的方法（如最小化均值偏差和离散度偏差）、结构对应学习、协同聚类、维数约简和迁移分量分析等。
基于特征和参数分解的域自适应学习：对特征和模型参数进行分解，以处理域自适应学习问题。分解方法包括增广特征和模型参数分解两种形式。