灾难性遗忘_Tree-CNN:一招解决深度学习中的「灾难性遗忘」

本文提出了一种名为Tree-CNN的深度学习模型,旨在解决‘灾难性遗忘’问题,即在模型进行新数据集训练时避免丢失原有数据集的识别能力。Tree-CNN通过树状结构进行类别划分和识别,模仿人类识别过程,从大类到小类逐步细化。在CIFAR-10和CIFAR-100数据集上的实验表明,Tree-CNN在减少‘灾难性遗忘’的同时,与微调策略相比,保持了较高的识别准确率。
摘要由CSDN通过智能技术生成

原标题:Tree-CNN:一招解决深度学习中的「灾难性遗忘」

在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考。

在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果。

这是 PaperDaily 的第 64篇文章

本期推荐的论文笔记来自 PaperWeekly 社区用户@Cratial。深度学习领域一直存在一个比较严重的问题——“灾难性遗忘”,即一旦使用新的数据集去训练已有的模型,该模型将会失去对原数据集识别的能力。

为解决这一问题,本文提出了树卷积神经网络,通过先将物体分为几个大类,然后再将各个大类依次进行划分、识别,就像树一样不断地开枝散叶,最终叶节点得到的类别就是我们所要识别的类。

关于作者:吴仕超,东北大学硕士生,研究方向为脑机接口、驾驶疲劳检测和机器学习。

■ 论文 | Tree-CNN: A Deep Convolutional Neural Network for Lifelong Learning

■ 链接 | https://www.paperweekly.site/papers/1839

■ 作者 | Deboleena Roy / Priyadarshini Panda / Kaushik Roy

网络结构及学习策略

网络结构

Tree-CNN 模型借鉴了层分类器,树卷积神经网络由节点构成,和数据结构中的树一样,每个节点都有自己的 ID、父亲(Parent)及孩子(Children),网(Net,处理图像的卷积神经网络),LT("Labels Transform",就是每个节点所对应

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值