北大、字节跳动等利用增量学习提出超像素分割模型LNSNet

最新推荐文章于 2023-06-21 15:24:00 发布
最新推荐文章于 2023-06-21 15:24:00 发布
阅读量2k 收藏 1
点赞数
分类专栏： 深度学习宝典
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jacke121/article/details/116536658
版权
北京大学和字节跳动合作提出了一种名为LNSNet的超像素分割模型，利用增量学习解决在线训练问题。模型设计轻量级，通过非迭代聚类模块降低复杂度，同时采用梯度调节模块解决灾难性遗忘问题，提升泛化能力。实验证明，LNSNet在效率和迁移性方面优于其他超像素分割方法。
摘要由CSDN通过智能技术生成

北大、字节跳动等利用增量学习提出超像素分割模型LNSNet

模型52k，cpu版，运行一张图片需要2.4s，速度挺慢。

网络结构值得学习。

 

因此为保证超像素分割既可以更好的借助深度学习进行有效的特征提取，又可以同时兼顾传统超像素分割方法高效、灵活、迁移性强的特点，本研究从持续学习的视角看待超像素分割问题，并提出了一种新型的超像素分割模型可以更好的支持无监督的在线训练模式 (online training)。考虑到超像素分割作为广义分割问题需要更关注图像的细节信息，本模型摒弃了其他超像素分割网络中采用的较深而复杂的卷积神经网络结构，而选用了较为轻量级的特征提取模块（FEM），并提出了非迭代聚类模块（NCM）通过自动选取种子节点，避免了超像素分割方法中的聚类中心的迭代更新，极大地降低了超像素分割的空间复杂度与时间复杂度（相比SSN参数量降低近20倍同时运算时间加快了近 4倍）。

 

为解决在线学习所带来的灾难性遗忘问题，本模型采用了梯度调节模块（GRM），通过训练权重在特征重建时的作用效果及像素的空间位置先验，调节反向传播时各权重的梯度，以增强模型的记忆性及泛化性。

 

二、训练框架设计

 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI算法网奇
关注
专栏目录
订阅专栏
39、使用NCNN+YOLOFast/YOLOV5,实现视频流/图片的自动化的labelme标注数据&python labelimg自动化
sxj731533730
01-16 4725
基本思想:　首先使用ｃ++调用了腾讯的开源框架ＮＣＮＮ，然后使用腾讯的rapidjson实现自动化的labelme格式化json生成，实现了自动化识别和标注数据，人工稍微修正存在错误的数据集即可；（可以python调用该静态包，但是比较喜欢ｃ++Ｏ（∩＿∩）Ｏ哈哈～） 第一步：首先下载ＮＣＮN源代码：https://github.com/Tencent/ncnn ubuntu@ubuntu:~$ git clone https://github.com/Tencent/ncnn.git ubuntu@
图像增强 cnn
jacke121的专栏
12-29 3664
https://github.com/HuiZeng/Image-Adaptive-3DLUT 该文是香港理工大学张磊老师及其学生在图像增强领域的又一颠覆性成果。它将深度学习技术与传统3DLUT图像增强技术结合，得到了一种更灵活、更高效的图像增强技术。所提方法能够以1.66ms的速度对4K分辨率图像进行增强(硬件平台：Titan RTX GPU)。 paper: https://www4.comp.polyu.edu.hk/~cslzhang/paper/PAMI_LUT.pdf co...
1/20参数，运算速度提升四倍：北大、字节跳动等利用增量学习提出超像素分割模型LNSNet（附源码下载）...
gzq0723的博客
05-11 332
计算机视觉研究院专栏作者：Edison_G利用持续学习中梯度缩放控制的方法，北大、北邮、字节跳动提出的新方法相比经典算法在参数量降低近 20 倍的同时，运算速度提升了 4 倍。长按扫描二维...
基于卷积神经网络的视频超分辨率
mytzs123的博客
08-04 1793
Video Super-Resolution With Convolutional Neural Networks摘要：卷积神经网络（CNN）是一种特殊的深度神经网络（DNN）。迄今为止，它们已成功应用于图像超分辨率（SR）以及其他图像恢复任务。在本文中，我们考虑了视频超分辨率问题。我们提出了一种在视频的空间和时间维度上训练的CNN，以提高其空间分辨率。连续帧经过运动补偿并用作CNN的输入，CNN提供超分辨率视频帧作为输出。我们研究了在一个CNN架构中组合视频帧的不同选项。虽然大型图像数据库可用于训练深度神
探索OpenCV的AI实现视频超分
最新发布
徐福记456
06-21 1793
OpenCV除了使用光流算法与普通插值实现图像视频超分，还提供AI深度学习实现视频超分。算法模型包括：edsr、espcn、fsrcnn、lapsrn，实现超分的倍数有2、3、4、8。通过AI实现的视频超分比传统算法的效果更好，图像更清晰。在opencv_contrib外置库的dnn_superres模块，就是用AI实现的图像/视频超分。接下来，我们对比AI算法、双三次插值、最近邻插值、LANCZOS插值的超分效果。通过计算图像的PSNR、SSIM来评估超分质量。
yolov5s-v3.1 ncnn 部署（二）
Bolly_He的博客
11-03 1150
YOLOv5s-v3.1模型转换 因为U版YOLO的作者用pytorch实现，yolov5的模型是torch格式的pt。要使用ncnn部署YOLOv5需要将模型进行转换，大概步骤是pt2onnx,onnx2ncnn。 因为只有yolovs-v3.1版本正常测试通过了，固仅针对此进行记录。高版本的yolov5初试未成功，未细加研究，之后有时间再进行深入研究。。。。 模型的转换主要参考：https://zhuanlan.zhihu.com/p/275989233?utm_source=qq 第一步：pt
9年前，字节跳动第一个安卓工程师是这样工作的
字节跳动技术范儿
03-12 2730
从2012到2021，今天的字节跳动已经走过了9周年，员工人数也已经突破了10W。 不过，回想九年前的创业早期，整个公司只有十几个人，探索方向期间，创始团队一口气做了包括今日头条在内的12款App，但支持这么多产品开发的安卓工程师只有一人。 他叫李秋良，凭一款自己全程设计研发的App打动了张一鸣，成为字节跳动创业第一年内唯一的安卓开发。并且当时除了写代码，他还常常直接接触用户、处理反馈，从用户的视角不断优化用户体验。 李秋良也是少数几位伴随公司成长到今天的研发之一。现在，我...
春招攻略：我是怎样进入字节跳动做技术的
字节跳动技术范儿
03-26 5365
正在参加春季校招的同学们，此刻可能是最紧张的了：简历投出去了，什么时候才能收到笔试通知啊？收到了笔试通知，最后两天还来得及做什么准备？面试会问什么问题？怎么才能提升通过率、拿到更好的off...
顶会杰出论文作者，数千星开源作者，这十位学子荣获第二届字节跳动奖学金...
字节跳动技术范儿
10-28 1274
「字节跳动奖学金计划 ByteDance Scholars Program」是字节跳动自 2021 年起发起的一年一期的人才培养项目，为每位获奖学生提供 10 万元人民币的资助基金，旨在帮助具有创新精神的科技人才用专业知识解决实际难题，用技术回馈社会、引领未来。第二届「字节跳动奖学金计划」于 2022 年 5 月发起，吸引了来自 34 所高校、300 余位国内优秀青年学子的报名申请，共覆盖 22 ...
字节跳动多篇论文入选 CVPR 2021，精选干货都在这里了
字节跳动技术范儿
06-28 3522
CVPR 2021，近期刚刚落下帷幕。 作为计算机视觉领域三大顶级学术会议之一，CVPR每年都吸引了各大高校、科研机构与科技公司的论文投稿，许多重要的计算机视觉技术成果都在CVPR上中选发布。 今天，为大家精选了14篇字节跳动技术团队入选本届CVPR的论文，其中包含2篇Oral（口头演讲论文），分享其中的核心突破，学习计算机视觉领域的最前沿研究。 除此之外，在本届CVPR的各个比赛环节，字节跳动技术团队荣获4项比赛冠军。 接下来，我们就来一起读paper啦。 HR-NAS：使用
RIFE插帧算法(V4.6)-pytorch转ncnn模型
xiaosier_D的博客
05-31 1779
首先附上各位大佬的github 地址链接，请多多支持各位开源大佬的工作(动动小手，star一下)：1. rife插帧算法原地址(pytorch实现)，作者特别优秀！书归正传，本文介绍一下如何通过pytorch转onnx再转ncnn模型的方式，将rife插帧算法应用在ncnn框架上。本文就基于上述模型的出入参和基本结构进行。
超分算法DRCN：Deeply-Recursive Convolutional Network for Image Super-Resolution超分辨率重建
qq_45122568的博客
04-09 5201
DRCN：Deeply-Recursive Convolutional Network for Image Super-ResolutionAbstract1 Introduction2 Method2.1 Basic Method2.2 Advanced Model2.3 LOSS3 Experimental4 Conclusion 这篇文章是第一次将之前已有的递归神经网络(Recursive Neural Network)结构应用在图像超分辨率上。由于梯度爆炸/消失问题，引入了递归监督和跳跃连接两个扩展
视频超分：DDAN（Learning a Deep Dual Attention Network for Video Super-Resolution）
WangsyHebut的博客
11-26 1812
论文名称：一个深度对偶注意的视频超分辨率网络 文章检索出处： IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 29, 2020以往的方法大多采用小尺度运动估计来处理大的运动，由于空间分辨率的降低，会对运动估计的精度产生不利影响。此外，这些方法通常对不同的中间特征一视同仁，对高频细节信息的利用缺乏灵活性。为了解决上述问题,本文的主要贡献如下：先将中心帧ItLI_t^LItL​和相邻帧IiLI_i^LIiL​输入到MCNet中，生成相邻运动补偿帧I^iL\hat I_i
图卷积在遥感上应用（论文简读）
如果想成为中心，那么就到中心去吧。
11-16 5892
文章目录2021Object-Based Classification Framework of Remote Sensing Images With Graph Convolutional Networks 2021 Object-Based Classification Framework of Remote Sensing Images With Graph Convolutional Networks code and paper:https://github.com/CVEO/OBIC-GCN 在
多尺度动态图卷积神经网络----Multi-scale Dynamic Graph Convolutional Network for Hyperspectral Image Classificati
你这个代码我看不懂的博客
04-06 1万+
一、摘要 卷积神经网络（CNN）在表示高光谱图像和实现高光谱图像分类方面表现出令人印象深刻的能力。然而，传统的CNN模型只能对固定大小和权重的规则正方形图像区域进行卷积，因此不能普遍适用于具有不同对象分布和几何外观的不同局部区域。因此，它们的分类性能仍有待提高，尤其是在类边界方面。为了缓解这一缺点，我们考虑采用最近提出的图卷积网络（GCN）进行高光谱图像分类，因为它可以对任意结构的非欧几里德数据进行卷积，并且适用于由图拓扑信息表示的不规则图像区域。与常用的GCN模型工作在固定图上不同，我们使图能够随着图卷积
《结合卷积神经网络和超像素聚类的细胞图像分割方法》
dugudaibo的博客
10-18 3692
介绍了文章的摘要以及值得学习的点。首先可以使用染色校正的方法进行图像预处理（这是一种机理方法），其次让我明白了如何使用CNN进行图像的分割；最后是这篇论文的实验丰富，有支撑力。
增量学习(Incremental Learning)小综述
abcdefg90876的博客
02-25 2万+
NewBeeNLP公众号出品作者@Maple小七北京邮电大学·模式识别与智能系统1. 增量学习的概念1.1 什么是增量学习人类有终身不断获取、调整和转移知识的能力...
生成式对抗网络（GAN）-（Generative Adversarial Networks）算法总结（从原始GAN到....目前）
weixin_44474718的博客
05-30 1万+
本文将按时间顺序总结gan的paper（非所有，会挑选个人认为比较重要的），并将参考其它博客（会给出链接），如有侵权，请私信删除。 ???? （2014.06-arXiv）GAN:Generative Adversarial Nets【论文原文】【参考文章】 ????contributions： 开山之作； 原理：生成网络和判别网络的互相对抗。生成网络尽可能生成逼真样本，判别网络则尽可能去判别该样本是真实样本，还是生成的假样本。 采用JS散度作为评判依据。 loss函数（原始gan损失函数的详细解释）：
图卷积网络 GCN Graph Convolutional Network（谱域GCN）的理解和详细推导
热门推荐
知行合一，止于至善
08-24 16万+
文章目录1. 为什么会出现图卷积神经网络？2. 图卷积网络的两种类型2.1 vertex domain(spatial domain)：顶点域（空间域）2.2 spectral domain：频域方法（谱方法）3. 什么是拉普拉斯矩阵？3.1 常用的几种拉普拉斯矩阵普通形式的拉普拉斯矩阵对称归一化的拉普拉斯矩阵（Symmetric normalized Laplacian）随机游走归一化拉普拉斯矩...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值