机器学习：更多关于元学习

最新推荐文章于 2024-08-02 18:41:48 发布
最新推荐文章于 2024-08-02 18:41:48 发布
阅读量408 收藏 10
点赞数 4
分类专栏： 机器学习 文章标签： 机器学习 学习 人工智能 meta学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/uncle_ll/article/details/139455955
版权

目录

在这里插入图片描述

Meta Learning vs Self-supervised Learning

在这里插入图片描述
在这里插入图片描述

  • 自监督学习——找初始化的参数
  • MAML 自动学出合适的参数

在这里插入图片描述

  • MAML：不断的学初始化参数
  • MAML的初始化参数来自BERT
    在这里插入图片描述
    在这里插入图片描述
  • MAML：找出来的初始化参数能在训练任务上表现的很好
  • BERT：自监督目标是不同的下游任务，使用了大量未标注的数据
  • 二者结合可能会有更好的效果

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Meta Learning vs Knowledge Distillation

在这里插入图片描述
在这里插入图片描述

  • 老师模型不是最擅长教育学生模型的
    在这里插入图片描述
  • 老师模型和学生模型之间有gap
  • 能让老师模型学习如何去教吗？可以通过meta learning实现这点

在这里插入图片描述

  • 基于学生模型的损失，更新老师模型

Meta Learning vs Domain Adaptation

在这里插入图片描述
在这里插入图片描述

  • 擅长解few-shot的题目
    在这里插入图片描述

在这里插入图片描述

  • target domain拿不到，就用之前的某个domain知识假设是target domain，然后进行训练。
    在这里插入图片描述
  • 所有的domain都来一遍，然后期望在新的domain上有好的表现
    在这里插入图片描述

在这里插入图片描述

  • Meta Learning可以用来进行不同任务的领域学习
  • Meta Learning可能自身也需要领域适应

Meta Learning vs Life-long Learning

在这里插入图片描述

  • 随着不断的进行，容易遗忘之前学到的知识

在这里插入图片描述
在这里插入图片描述

  • 期待新的参数 θ ′ \theta' θ′能在之前的数据集上表现也好
  • 采用regularization来保持算法对两个数据集都表现较好
    在这里插入图片描述
  • 使用Meta Learning来避免产生灾难性遗忘
  • 学会新的东西，也不会忘记旧的东西
    在这里插入图片描述
  • Meta Learning 也有可能遇到灾难性遗忘的问题
    在这里插入图片描述
uncle_ll
关注
  • 4
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
机器学习算法与应用.pdf
09-24
机器学习算法与应用.pdf 机器学习是人工智能的核心和基础，研究机器学习是实现人工智能的重要步骤。...未来的机器学习研究将会聚焦于量子机器学习、李群机器学习等新兴领域，并将其应用于更多的领域。
机器学习：人工智能的未来.pdf
09-24
机器学习是人工智能领域的一个核心研究方向，它利用严格的数学理论和多学科的交叉融合，让计算机通过大量数据的训练，模仿人类的...随着技术的不断进步，机器学习和人工智能将持续创新，为我们的生活带来更多的变革。
套路!机器学习：北美数据科学家的私房课.pdf
09-24
本书是一个关于机器学习和数据科学的指南，旨在为读者提供实践指南，让他们更好地理解数据科学这个行业，并掌握相关的技能。数据科学是一个复杂的领域，它需要数学、统计、计算机等多个领域的知识，同时也需要掌握...
机器学习：实用技术与未来趋势的深度解析.zip
04-23
本资料《机器学习：实用技术与未来趋势的深度解析》深入探讨了这一领域的核心概念、算法以及其在各个行业的应用。在这里，我们将详细阐述机器学习的重要性和其未来发展的一些关键趋势。 首先，机器学习是人工智能的...
5G机器学习：从模型到数据驱动的移动无线网络
08-06
标题：“5G机器学习：从模型到数据驱动的移动无线网络”所涉及的知识点包括5G技术、机器学习、数据驱动模型、移动无线网络和网络负载均衡。 在描述中提到，移动无线通讯经历了一代又一代的技术革命，从1G到4G，并...
详解sigmoid与softmax， 多分类及多标签分类
热门推荐
uncle_ll的博客
09-19 5万+
详解sigmoid与softmax， 多分类及多标签分类激活函数介绍sigmoid激活函数sigmoid激活函数的性质sigmoid激活函数的使用 激活函数介绍 对于熟悉机器学习或神经网络的读者来说，sigmoid与softmax两个激活函数并不陌生，但这两个激活函数在逻辑回归中应用，也是面试和笔试会问到的一些内容，掌握好这两个激活函数及其衍生的能力是很基础且重要的，下面为大家介绍下这两类激活函数...
PCA降维算法总结以及matlab实现PCA
uncle_ll的博客
03-09 2万+
http://blog.csdn.net/watkinsong/article/details/8234766 http://blog.csdn.net/mingtian715/article/details/54172281 PCA的一些基本资料 最近因为最人脸表情识别，提取的gabor特征太多了，所以需要用PCA进行对提取的特征进行降维。
二分类确定画出roc曲线，以及基于roc曲线获得最佳划分阈值
uncle_ll的博客
05-25 9304
问题 在做二分类问题时候，有正样本和负样本。构建的算法，针对每个样本会输出一个分数值。假设该分数大小为[0, 1]区间内的值。有时候单纯地以分数0.5位阈值划分样本为预测为1或者预测为0，效果有时候并不好，此时如何确定很好的阈值分数呢？答案是可以利用roc曲线来确定比较好的划分阈值。 ROC曲线介绍 二分类过程，设定阈值，大于该分数为1，小于该分数为0，统计计算TP， FN， FP，TN等数据计算FPR，TPR p(positive): 标签1 n(negative): 标签0 t(true): 预测正
关于数据集划分比例问题
uncle_ll的博客
10-12 8055
问题 图像数据集是训练模型与测试模型必备的，一般而言收集到的数据是整个数据，会将整个数据划分成三个数据集，训练集，验证集以及测试集。 验证和测试的数据要确保特征分布和训练集接近，类别比例也是接近的，这样得到的准确率或者loss才真实。 在做ocr识别模型训练的时候，样本比较大，这时候有点疑惑该如何划分数据集，且数据集中较大比例是自动生成的数据。 方法 一般而言，对于样本量是非常多的数据时候，可以按照7:3～9:1划分数据集。 但是对于几百万或千万级数据量而言，测试集样本不需要太多，只需要划分一定数量的数据
最近邻搜索|Nearest neighbor search
uncle_ll的博客
01-13 6010
维基百科：https://en.wikipedia.org/wiki/Nearest_neighbor_search 觉得整理的挺好，翻译 最近邻搜索( NNS ) 作为**邻近搜索（proximity search）**的一种形式，是在给定集合中找到与给定点最接近（或最相似）的点的优化问题（optimization problem）。相似度通常用不相似函数表示：对象越不相似，函数值越大。 形式上，最近邻（NN）搜索问题定义如下：给定空间M中的一组点S和查询点q ∈ M，找到S 中与q的最近点。唐纳德·.
目标函数(object function),损失函数(loss function)以及代价函数(cost function)之间的关系与区别
uncle_ll的博客
02-18 2705
早先的知识理解是三者代指同一类意思，有些书本上也将其混讲： 今天车上看一个笔记讲解，原来是有差别的： 代价函数：个体 损失函数：整体 目标函数：更泛化的术语 整体来讲： 代价函数是损失函数的一部分，损失函数是目标函数其中的一种； refrence: https://stats.stackexchange.com/questions/179026/objective-function-cost...
机器学习——终身学习
uncle_ll的博客
03-19 2564
大模型的前身——终身学习
Swish和H-Swish激活函数：提升模型训练效率
uncle_ll的博客
04-29 2125
本文介绍了Swish和H-Swish激活函数，其性能优势包括缓解梯度消失问题和非单调性。H-Swish是Swish的变体，通过分段线性函数替换Sigmoid函数，提高了计算效率。Swish和H-Swish在神经网络中广泛应用，提高了模型的训练效率和性能。
机器学习中的过拟合与解决办法
uncle_ll的博客
03-02 1303
什么是过拟合 对于机器学习项目而言，过拟合（overfitting）这个问题一般都会遇到。什么是过拟合呢？ 维基百科： 在统计学中，过拟合现象是指在拟合一个统计模型时，使用过多参数。对比于可获取的数据总量来说，一个荒谬的模型只要足够复杂，是可以完美地适应数据。过拟合一般可以视为违反奥卡姆剃刀原则。当可选择的参数的自由度超过数据所包含信息内容时，这会导致最后（拟合后）模型使用任意的参数，这会减少...
机器学习之特征选择
uncle_ll的博客
09-19 1257
在机器学习中，用于选择相关特征（变量、预测变量等）的子集以用于模型构建。这是机器学习项目过程中的重要一步，也是特征工程以减少训练时间。训练时间和特征空间是正相关的。避免维度灾难。使模型更容易。提高泛化能力，减少过拟合。减少共线性并增强可解释性。当得到一个数据集（类似表格的数据）时，每一列都是一个特征，但并不是所有的列都是有用的或相关的。最好花一些时间在特征选择上。使用特征选择技术的中心前提是数据包含一些冗余或不相关的特征，因此可以删除而不会导致大量信息丢失。有很多方法可以进行特征选择。
数据不平衡问题及解决方法
uncle_ll的博客
02-01 1246
对于一些二分类问题或者多分类问题，部分类别数据相较于其它类别数据而言是要小得多的，这种现象就是数据不平衡问题。这种数据分布严重不平衡的情况下，模型将具有严重的倾向性，倾向于数据样本的多的类别，因为模型每次猜样本多对应的类别的对的次数多。简单来说就是少样本数据全部保留，对多样本数据按照小样本的数量及比例采样量级差不是那么大的多样本数据，比如说正样本10个，负样本1000个，二者相差两个量级。解决数据不平衡的方法比较多，这里大致罗列一下，具体原理可以针对每种方式去详细搜索对应的文章介绍，这里不做过多的解释。
从文本到图像：深度解析向量嵌入在机器学习中的应用
最新发布
uncle_ll的博客
08-02 1232
向量嵌入介绍
机器学习——神经网络压缩
uncle_ll的博客
03-08 1227
神经网络压缩，以在保证性能的前提下压缩模型大小
机器学习——压缩网络作业
uncle_ll的博客
03-17 1134
机器学习之网络压缩作业
机器学习：从多层关联规则到数据挖掘
课程包含了监督学习、分类、回归、密度估计等多个机器学习主题，并强调了理解和实践的重要性。" 在机器学习领域，多层关联规则的挖掘是一种寻找数据集中项集之间关系的技术。这种方法通常基于置信度和支持度框架，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

uncle_ll

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值