Life long learning

最新推荐文章于 2024-10-17 17:18:46 发布
最新推荐文章于 2024-10-17 17:18:46 发布
阅读量161 收藏
点赞数 3
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45124463/article/details/141689588
版权

现象：一个model进行multi-task learning做的还可以，说明模型是可以同时学会多个任务的，但是如果训练过程是1个task 1个task的顺序进行，模型就会发生灾难性的遗忘现象，只会做刚学完的task。

目标：让模型不要那么快忘掉过去学到的东西

upper bound：multi-task learning，能不忘并达到multi-task learning水平就是很厉害了。

方法一：Selective Synaptic Plasticity

在下一个task训练的时候要让模型尽可能少的调整对上一个task重要的parameter

参数bi衡量参数对上一个任务的重要性，可以通过调整一下θbi看看上一个task的loss变化大还是小来确定(bi是超参数，人为预先设定，task2 train的时候是不变的)

方法二：Gradient Episodic Memory (GEM)

保存上一个task的少量训练资料，以在新的task每次调整梯度的时候都可以回头算一下上一个task此时的梯度，然后将新旧梯度结合（新梯度为主，这种方法有点像作弊，直接就在进行multi-task learning了，但是区别是它只用上一个task一点点资料来计算个梯度）

wonag
关注
Learning Scrapy 2016无水印pdf 0分
02-27
This book covers the long awaited Scrapy v 1.0 that empowers you to extract useful data from virtually any source with very little effort. It starts off by explaining the fundamentals of Scrapy ...
Learning Scrapy azw3 kindle格式 0分
05-23
This book covers the long awaited Scrapy v 1.0 that empowers you to extract useful data from virtually any source with very little effort. It starts off by explaining the fundamentals of Scrapy ...
Mastering+Java+Machine+Learning-Packt+Publishing(2017).epub
04-03
As in each of the other chapters, the case study is presented as an example to help the reader understand how the techniques introduced in the chapter are applied in real life. The dataset used in ...
Deep Learning Goodfellow（英文版带目录）
11-16
Inventors have long dreamed of creating machines that think. This desire dates back to at least the time of ancient Greece. The mythical figures Pygmalion, Daedalus, and Hephaestus may all be ...
深度学习Day-37：NLP中的文本嵌入
m0_51359915的博客
10-17 814
1.2 定义填充函数self.fc = nn.Linear(embed_dim, 1) # 假设我们做一个二分类任务print("embedding输入文本是：",text)print("embedding输入文本shape：",text.shape)embedding_mean = embedding.mean(dim=1) # 对每个样本的嵌入向量进行平均print("embedding输出文本shape：",embedding_mean.shape)
基于深度学习的复杂器官建模与模拟
weixin_42605076的博客
10-10 1293
基于深度学习的复杂器官建模与模拟是一项前沿技术，它利用深度学习模型从大量医学图像和临床数据中提取信息，生成复杂器官的三维结构模型，并对其进行功能模拟。这项技术对于医学诊断、手术规划、药物开发和疾病研究有重要意义，特别是针对心脏、肝脏、肺等复杂器官。
【大模型实战篇】deep-ml项目深度学习关键模块代码练习题库及部分题目解法的分析
源泉的小广场
10-14 867
深度学习、机器学习、线性代数、python、源码、编程实践、问题解决
【鸟类识别系统】Python+卷积神经网络算法+人工智能+深度学习+ResNet50算法+计算机课设项目
子午的博客
10-12 1016
鸟类识别系统。本系统采用Python作为主要开发语言，通过使用加利福利亚大学开源的200种鸟类图像作为数据集。使用TensorFlow搭建ResNet50卷积神经网络算法模型，然后进行模型的迭代训练，得到一个识别精度较高的模型，然后在保存为本地的H5格式文件。在使用Django开发Web网页端操作界面，实现用户上传一张鸟类图像，识别其名称。本项目通过人工智能技术实现对鸟类图像的自动识别，满足用户在日常生活中快速、准确地识别鸟类的需求。
LeNet-5（论文复现）
wei_shuo的博客
10-11 1214
LeNet-5（论文复现）
深度学习-26-基于PyTorch的多层感知机DNN
最新发布
qq_20466211的博客
10-17 55
基于Fashion-MNIST数据集合PyTorch框架，搭建深度学习模型DNN并训练预测
循环神经网络-LSTM网络
2301_77698138的博客
10-09 1489
循环神经网络（Recurrent Neural Networks，RNN）是一种特殊的神经网络，具有能够处理序列数据的能力，然而，RNN在处理长序列时面临长期依赖问题，即当需要考虑较远过去的输入信息时，可能会由于反向传播过程中梯度的逐层累乘，导致梯度消失或爆炸，从而使得网络无法有效地学习到长时间跨度的依赖关系。为了解决RNN的长期依赖问题，长短期记忆网络（Long Short-Term Memory，LSTM）应运而生。LSTM是RNN的一种变种，具有更强的能力来处理长距离依赖关系。
吴恩达深度学习笔记：卷积神经网络（Foundations of Convolutional Neural Networks）3.9-3.10
weixin_43597208的博客
10-17 1076
那里没有任何对象，那么我们希望你的神经网络在那里（第一个𝑝𝑐）输出的是 0，这里（第二个𝑝𝑐）是 0，然后我们输出一些值，你的神经网络不能输出问号，不能输出 don’t care-s，剩下的我输入一些数字，但这些数字基本上会被忽略，因为神经网络告诉你，那里没有任何东西，所以输出是不是对应一个类别的边界框无关紧要，所以基本上是一组数字，多多少少都是噪音（输出 𝑦 如编号 3 所示）。现在你也可以运行一下卷积算法，这个算法的其中一个缺点是，它在显然没有任何对象的区域浪费时间，对吧。
AI学习指南深度学习篇-生成对抗网络的变体及扩展
俞兆鹏的博客
10-10 797
生成对抗网络（GAN）自2014年由Ian Goodfellow等人首次提出以来，迅速成为深度学习领域的一项重要技术。GAN的核心思想是通过两个神经网络的对抗训练来生成新的样本数据，这一过程可以在图像生成、图像编辑、超分辨率重建等诸多领域发挥巨大的作用。本文将重点介绍GAN的变体及其扩展，特别是条件生成对抗网络（cGAN）和Wasserstein GAN（WGAN）。我们将深入探讨这些变体的特点以及在各自应用领域的表现。
深度学习神经网络的7大分类
洋洋科创星球
10-17 578
每种神经网络都有其独特的优势和局限性，选择合适的网络结构对于解决特定问题至关重要。随着深度学习技术的不断进步，新型网络结构和算法的创新将进一步推动这一领域的发展。深度学习中的神经网络可通过其结构和功能分为多种类型，每种都针对特定的数据特征和应用场景进行了优化。LSTM是RNN的一种变体，通过输入门、遗忘门和输出门控制信息的流动，有效缓解梯度消失问题，DRL结合了深度学习和强化学习，通过与环境的交互学习策略，以完成特定的任务。这是最基本的神经网络形式，信息从输入层流向输出层，不形成闭环。
【新闻文本分类识别】Python+卷积神经网络算法+人工智能+深度学习+算法模型+文本处理
子午的博客
10-13 386
文本分类识别系统。本系统使用Python作为主要开发语言，首先收集了10种中文文本数据集（“体育类”, “财经类”, “房产类”, “家居类”, “教育类”, “科技类”, “时尚类”, “时政类”, “游戏类”, “娱乐类”），然后基于TensorFlow搭建CNN卷积神经网络算法模型。通过对数据集进行多轮迭代训练，最后得到一个识别精度较高的模型，并保存为本地的h5格式。然后使用Django开发Web网页端操作界面，实现用户上传一段文本识别其所属的类别。
【鱼类识别】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面+TensorFlow
2301_78372746的博客
10-11 1236
鱼类识别系统。
YOLO11改进|注意力机制篇|引入SEAM注意力机制
A1983Z的博客
10-12 870
YOLO11中添加SEAM注意力机制
每天五分钟深度学习pytorch：L1和L2范数、L1和L2归一化
huanfeng_AI的博客
10-17 58
我们在另外一个专栏《机器学习和深度学习数学基础》中介绍了常用的范数，这里我们就不进行详细介绍了。这里我们只介绍，如何使用pytorch来计算L1、L2范数，以及如何计算L1和L2归一化。
reptile元学习
09-01
元学习与传统的深度学习、终身学习（life-long learning）和迁移学习有所区别。终身学习的目标是通过学习一个模型来完成所有任务，而元学习是通过掌握其他任务的内在原理来举一反三。换句话说，元学习使我们能够快速...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值