AI行业新思
文章平均质量分 83
AI酱油君
一起探索AI世界吧
展开
-
恒源云 (Gpushare)_Restormer:用于高分辨率图像重建的高效Transformer
文章来源 | 恒源云社区原文地址 | Restormer原文作者 | 咚咚摘要引入主题: 由于卷积神经网络(CNNs)能够从大规模数据中学习到图像的generalizable特征,所以被广泛应用于图像重建和相关任务。最近,另一类神经结构,Transformer,在自然语言和高水平的视觉任务已经显示出显著性能增益。现存问题: 虽然 Transformer 模型弥补了 CNNs 的不足(即感受域有限和inadaptability to input content) ,但其计算复杂度随着空间分辨率的原创 2022-05-07 18:15:24 · 532 阅读 · 0 评论 -
恒源云 (Gpushare)_【炼丹必备】调参心法(说人话系列)
不行了,临下班前看见社群里有个小哥哥发了一大段话,太太太……搞笑了!!!为啥明明很深奥的道理,到他笔下就那么的……接底气????这我可就不想急着下班了,我得让大家一起快乐啊😂这个分享就叫:说人话系列内容来源:【炼丹必备】调参心法创作者:阿洲完整内容如下:理想状态下,我们最想看到的是训练损失下降,验证损失下降,并且验证损失大于训练损失,当然理想很丰满,现实很骨感,一起来看看以下常见的情况和思路分析把。A:训练损失下降,验证损失下降,但是验证损失小于训练损失。这种情况最需要注意的就是查看一下验.原创 2022-05-06 19:31:46 · 392 阅读 · 0 评论 -
恒源云 (Gpushare)_【炼丹必备】调参心法(说人话系列)
不行了,临下班前看见社群里有个小哥哥发了一大段话,太太太……搞笑了!!!为啥明明很深奥的道理,到他笔下就那么的……接底气????这我可就不想急着下班了,我得让大家一起快乐啊😂这个分享就叫:说人话系列内容来源:【炼丹必备】调参心法创作者:阿洲完整内容如下:理想状态下,我们最想看到的是训练损失下降,验证损失下降,并且验证损失大于训练损失,当然理想很丰满,现实很骨感,一起来看看以下常见的情况和思路分析把。A:训练损失下降,验证损失下降,但是验证损失小于训练损失。这种情况最需要注意的就是查看一下验.原创 2022-05-06 19:27:36 · 341 阅读 · 0 评论 -
恒源云(Gpushare)_今日炼丹小疑问:如何给数据加权重?
文章来源 | 恒源云社区原文地址 | 【炼丹保姆】原文作者 | 阿洲时间:2022年5月6号心情:崩溃边缘原因:居家隔离一月有余……且解封不知何时……算了,我摊牌了,我开始摆烂了!因为心情💢不好,所以工作消极!挑个简短精干的帖子分享,你们爱看不看🙈,就是这么拽🕶️来吧,展示🀄️:准备工作:import numpy as npimport torchfrom torch.utils.data import WeightedRandomSamplerfrom torch.util原创 2022-05-06 19:21:31 · 637 阅读 · 0 评论 -
恒源云(GpuShare)_表序编码器的联合实体和关系提取(论文浅谈)
文章来源 | 恒源云社区原文地址 | 两个都比一个好:表序编码器的联合实体和关系提取原文作者 | MathorcodeAbstract 对于联合实体关系抽取,许多研究者将联合任务归结为一个填表问题,他们主要专注于学习单个编码器来捕获同一空间内的两个任务所需的信息(一个表抽取实体和关系)。作者认为设计两个不同的编码器捕获这两种不同类型的信息更好,因此本文提出了一种新颖的Table-Sequence编码器,其中两个不同的编码器(Table和序列编码器)被设计成在表示学习过程中相互帮助,本文并证明了原创 2022-04-26 17:04:08 · 117 阅读 · 0 评论 -
恒源云(GpuShare)_医学图像分割:MT-UNet
我们社区有新的技术分享小伙伴啦🎉🎉🎉热烈欢迎👏作为一名合格的搬运工,我必须做点事情表达我的喜悦之情:搬运~搬运~立即搬运~文章来源 | 恒源云社区原文地址 | 新的混合Transformer模块(MTM)原文作者 | 咚咚摘要存在问题虽然U-Net在医学图像分割方面取得了巨大的成功,但它缺乏对长期依赖关系进行显式建模的能力。视觉Transformer由于其固有的通过自注意(SA)捕捉长程相关性的能力,近年来成为一种可替代的分割结构。存在问题然而,Transformer.原创 2022-04-26 17:00:12 · 243 阅读 · 0 评论 -
恒源云(GpuShare)_PRGC:基于潜在关系和全局对应的联合关系三元组抽取
文章来源 | 恒源云社区原文地址 | PRGC:基于潜在关系和全局对应的联合关系三元组抽取原文作者 | MathorAbstract 本文讲关系抽取任务分解为关系判断、实体提取和subject-object对齐三个子任务,提出了一种基于潜在关系和全局对应的联合关系三元组抽取框架(PRGC)。具体而言,首先设计一个预测潜在关系的组件,将后续实体提取限制在预测的关系子集上,而不是所有的关系;然后用特定于关系的序列标记组件处理subject-object之间的重叠问题;最后设计一个全局对应组件来以较低原创 2022-04-26 16:58:40 · 247 阅读 · 0 评论 -
恒源云(GPUSHARE)_超越预训练 NLP 的模型来喽
文章来源 | 恒源云社区原文地址 | 从零训练一个超越预训练的 NLP 模型原文作者 | Mathor欢迎欢迎,热烈欢迎👏社区大佬回归啦~我又可以愉快的搬运文章了!都让开,我要开始搬运啦。正文开始:本文基于Arxiv上的一篇论文NLP From Scratch Without Large-Scale Pretraining: A Simple and Efficient Framework,清华的几位研究者提出一种任务驱动的语言模型TLM(Task-driven Language Mod原创 2022-04-26 16:57:22 · 194 阅读 · 0 评论 -
恒源云(GPUSHARE)_语音识别与语义处理领域之[机器翻译] 21.7 mRASP2
文章来源 | 恒源云社区(一个专注 AI 行业的共享算力平台恒源智享云)原文地址 | [机器翻译] 21.7 mRASP2原文作者 | 角灰Contrastive Learning for Many-to-many Multilingual Neural Machine Translationgithub:摘要:现有的多语言模型聚焦于英语为中心的翻译,而非英语的方向远远落后。本文旨在一个多对多翻译系统,重点是非英语语言方向的质量。基于这样一个假设:通用的跨语言表示会导致更好的多语言翻译性能。为原创 2022-04-26 16:54:06 · 1534 阅读 · 0 评论 -
恒源云(Gpushare)_自动化训练小技巧白送给你,不要吗?
文章来源 | 恒源云社区原文地址 | 自动化后台训练作者 | Littleor大噶好啊,今日小编还在坚挺中,没疯,虽然被告知所在区域是封控区,但工作还需要我去完成,我得加油!⛽️今天先不搬运小伙伴们的论文类文章,先给各位来个技巧分享!内容不长,希望能带给各位炼丹小伙伴们一点小小的帮助。这里是一个简单易用的一个后台全自动化训练日志记录、结果数据自动保存和自动关机的脚本。仓库地址:https://github.com/Littleor/HY-Auto-Trainer特性使用 nohup原创 2022-04-26 16:52:25 · 191 阅读 · 0 评论 -
恒源云(Gpushare)_FAIR CVPR2022新作DVT是个啥?
文章来源 | 恒源云社区原文地址 | 用于视频的可变形Transformer原文作者 | 咚咚hi,大家好啊!窗外的树🌲 绿了,楼下的桃花🌺 开了,春天,就这么滴的过去了……啊啊啊啊,我的春游彻底没希望了!!!说那么多有啥用呢?还不是得乖乖搬运社区文章!毕竟社区伙伴们发帖是那么的勤快!Respect!正文开始摘要引入主题:在视频分类领域,视频Transformer最近作为一种有效的卷积网络替代品出现。现存问题:大多数以前的视频Transformer采用全局时空注意或利用手动定义的策略原创 2022-04-26 16:51:02 · 135 阅读 · 0 评论 -
恒源云(GpuShare)_无监督的QG方法
文章来源 | 恒源云社区原文地址 | 通过摘要信息问题生成改进无监督问答原文作者 | Mathor上海于昨日宣布要开始在全市范围内开展新一轮切块式、网格化核酸筛查!【恒源云】云墩墩☁️ 提醒小伙伴们,不管居家还是出门,都要注意防疫哦~也许是居家的小伙伴真的很多,也许是春天来了大家积极性增强,社区技术贴那是一个接一个的发啊!今天呢,给大家带来老朋友Mathor的文章。正文开始1 Abstract问题生成(QG)是为给定的<passage,answer><passage,原创 2022-04-26 16:49:02 · 210 阅读 · 0 评论 -
恒源云(GpuShare)_MaskFormer:语义分割可以不全是像素级分类
文章来源 | 恒源云社区原文地址 | MaskFormer原文作者 | 咚咚论文:Per-Pixel Classification is Not All You Need for Semantic Segmentation论文地址:https://arxiv.org/pdf/2107.06278.pdf代码地址: https://bowenc0221.github.io/maskformer摘要目前研究多将语义分割算法作为一种像素级的分类算法,而将实例分割作为一种mask分类算法论文的原创 2022-04-26 16:47:29 · 220 阅读 · 0 评论 -
恒源云(Gpushare)_UNIRE:一种可以共享标签空间的方法
文章来源 | 恒源云社区原文地址 | UNIRE:一种用于实体关系抽取的统一标签空间原文作者 | Mathor参考链接Abstract(Zhong and Chen,ACL2020 Two are better than one: Joint entity and relation extraction with table sequence encoders) 使用pipeline方法为实体检测和关系分类设置了两个独立的标签空间,并取得了SOTA。由于pipeline方法不能共享实体抽取和关系原创 2022-04-26 16:45:15 · 215 阅读 · 0 评论 -
恒源云(GPUSHARE)_替代MLM的预训练任务,真的超简单吗?
文章来源 | 恒源云社区原文地址 | 简单到令人沮丧的替代MLM的预训练任务?原文作者 | Mathor看了这么多篇社区大佬Mathor的文章,就在刚刚,我居然发现大佬居然、大概、可能、也许在diss某个训练说法!哇哦,amazing!这么神奇的吗?我这小八卦之心,熊熊燃起了啊!这到底是个啥子神奇的模型训练方法?大伙也别急惹,让我完整的copy大佬的文章,然后一起一睹究竟!正文开始EMNLP2021有一篇论文标题名为Frustratingly Simple Pretraining Alte原创 2022-02-17 15:08:36 · 755 阅读 · 0 评论 -
恒源云(GPUSHARE)_AIphaCode是否能取代程序员?
文章来源 | AI科技大本营原文地址 | AIphaCode 并不能取代程序员,而是开发者的工具编译 | 禾木木首先,开篇我就得先夸一家自己家的大佬们,文章写的那是一绝!我们恒源云社区的深度学习文章,一篇比一篇优秀,譬如下方的任意一篇,每一篇都是知识点满满!卷积神经网络的工作原理文本数据扩增时,哪些单词 (不) 应该被选择?从零开始学深度学习编译器当然了,如果看完社区的内容后你们还觉得不过瘾,不要着急,我又从别的地方搬运了一篇超棒的文章给大家学习。来来来,快跟随我的脚步????,瞅一转载 2022-02-15 17:24:41 · 99 阅读 · 0 评论 -
恒源云(GPUSHARE)_可构建AI的「AI」诞生?
文章来源 | 学术头条原文地址 | 几分之一秒内,就能预测新网络的参数号外号外,我找到一个宝藏公众号啦,里面都是超赞的干货文章????????废话不多说,立马给大家分享正文开始:人工智能在很大程度上是一场数字游戏。当深度神经网络在 10 年前开始超越传统算法,是因为我们终于有了足够的数据和处理能力来充分利用它们。今天的神经网络更依赖于数据和算力。训练网络时,需要仔细调整表征网络的数百万甚至数十亿参数值,这些参数代表人工神经元之间连接的强度。目标是为它们找到接近理想的值,这个过程称为优化。但训练原创 2022-02-09 16:11:57 · 280 阅读 · 0 评论 -
恒源云(GPUSHARE)_社区产出大拿的论文小记(Flooding-X)
文章来源 | 恒源云社区原文地址 | Flooding-X: 超参数无关的 Flooding 方法原文作者 | Mathor所谓大佬,就是只要你肯挖,总有你不知道的知识点在某个地方等着你来学习!往下看,这不就来了吗!正文开始:ICML2020的论文《Do We Need Zero Training Loss After Achieving Zero Training Error?》提出了一种Flooding方法,用于缓解模型过拟合,详情可以看我的文章《我们真的需要把训练集的损失降到零吗?》。这原创 2022-02-08 19:12:00 · 125 阅读 · 0 评论 -
恒源云(GPUSHARE)_attention decoder效果不佳时如何应对
文章来源 | 恒源云社区原文地址 | ECCV 2020原文作者 | 学习cv的小何背景:通常STR识别论文中的实验数据集来自真实街景图片,其中包含大量语义信息。那么在decode时利用attention机制的decoder往往可以很好地利用这些语义信息,从而避免将apple预测成0pple的情况。然而实际项目中并不一定都是语义信息丰富的文本图片,遇到随机字符的组合或者弱语义文本识别,经典识别方法可能出现错误的预测结果。通常对于这种情况,我的习惯是使用CTC解码器。而今天介绍一篇来自商汤团队EC转载 2022-01-26 15:03:32 · 208 阅读 · 0 评论 -
恒源云(GPUSHARE)_AdderSR: Towards Energy Efficient Image Super-Resolution学习笔记
文章来源 | 恒源云社区原文地址 | CVPR2021原文作者 | 学习cv的小何一 研究问题单图像超分辨率(SISR)是一项典型的计算机视觉任务,其目的是从低分辨率(LR)图像中重建高分辨率图像。SISR是智能手机和移动相机在现实应用中非常流行的图像信号处理任务。由于这些便携式设备的硬件限制,有必要开发具有低计算成本和高视觉质量的SISR模型。第一个超分辨率的卷积神经网络(SRCNN)[5]只包含三个具有大约57K参数的卷积层。然后,随着深度和宽度的增加,DCNN的容量被放大,导致超分辨率的显转载 2022-01-26 14:47:10 · 142 阅读 · 0 评论 -
恒源云(GPUSHARE)_【Object Detection 20年】小结
文章来源 | 恒源云社区原文地址 | “Salute!” Object Detection 20年 前三章小结原文作者 | 小幸运Object Detection 20年这是19年末发表的一篇文章,里面提到的有些技术以现在眼光来看可能有些过时,但是我个人认为依然是一篇很好的启蒙时读物。倘若将里面每个知识点掰开嚼碎,一点点吸收。这有助于你对目标检测有一个系统性了解。第一章 目标检测的里程碑可以用一张很经典的图来表示目标检测的发展史1.概要2012年是深度学习的元年,那一年AlexNet使原创 2022-01-25 16:48:59 · 80 阅读 · 0 评论 -
恒源云(GPUSHARE)_Teacher Forcing训练小技巧来啦~
文章来源 | 恒源云社区原文地址 | Teacher Forcing原文作者 | Mathor年底啦年底啦~要放假啦放假了~不整大活,搞点小内容分享一下吧!正文开始本文主要介绍一下Teacher Forcing这个训练过程中的技巧以Seq2Seq为例,在训练过程中,t0t_0t0 时刻Decoder的输入是"“,输出可能并不是正确的结果"the”,比方说输出了一个错误的结果"like"。那么问题就来了,到了t1t_1t1时刻,应该继续以正确的单词"the"作为输入,还是将上一时刻t0t原创 2022-01-24 15:40:16 · 1664 阅读 · 0 评论 -
恒源云(GPUSHARE)_BPE算法详解
文章来源 | 恒源云社区原文地址 | BPE 算法详解原文作者 | MathorByte Pair Encoding在NLP模型中,输入通常是一个句子,例如"I went to New York last week.",一句话中包含很多单词(token)。传统的做法是将这些单词以空格进行分隔,例如['i', 'went', 'to', 'New', 'York', 'last', 'week']。然而这种做法存在很多问题,例如模型无法通过old, older, oldest之间的关系学到smart原创 2022-01-20 17:54:11 · 713 阅读 · 0 评论 -
gpushare.com_基于去噪Transformer的无监督句子编码【EMNLP 2021】
文章来源 | 恒源云社区原文地址 | 论文小记原文作者 | Mathor这几天忙里偷闲去社区看了看各位版主一开始发的文章。重点找了我最喜欢的版主Mathor的文章,仔细一查,竟然已经发了90多篇,不愧是社区大佬本佬了!想着看都看了,那就顺手搬运一下大佬的文章吧!接下来跟着小编的脚步????,一起看下去吧~正文开始EMNLP2021 Findings上有一篇名为TSDAE: Using Transformer-based Sequential Denoising Auto-Encoder fo原创 2022-01-19 15:37:20 · 755 阅读 · 0 评论 -
恒源云(GPUSHARE)_实例关机后如何操作迁移?
文章来源 | 恒源云原文地址 | 迁移今天来和大家聊一聊,何为迁移,如何迁移!一、何为迁移?当实例关机后GPU被占,无法启动,或者训练过程中想换一台机器显卡,即可关机后进行实例迁移。迁移成功后即可重新开始训练!二、如何迁移?实例迁移注意事项实例迁移过程不会迁移实例中的/hy-tmp/目录,并且会清除实例中/hy-tmp/目录下的数据,如果您需要迁移,则需要把实例中的/hy-tmp/目录中的数据通过OSS命令工具上传至个人数据空间。实例迁移必须先将实例进行关机操作。如果使用了/hy-na原创 2022-01-17 15:41:03 · 1221 阅读 · 0 评论 -
恒源云(GPUSHARE)_语音识别与语义处理领域之低资源机器翻译综述
文章来源 | 恒源云社区原文地址 | 低资源机器翻译综述原文作者 | 角灰摘要神经机器翻译效果非常好,但需要大量的平行语料,因此有了低资源翻译的研究。本文按照按数据的利用对低资源翻译分为3类:利用单语数据利用辅助语言利用多模态数据结论和未来方向目前还有如下开放问题:在多语言迁移学习中,尚不知道应该用多少语言、哪些语言。在迁移学习中如何处理未见过语言的词表如何高效选择数轴语言双语词典非常有用且易得,目前的研究主要用在源语言和目标语言上,如何用在多语言迁移学习中的低资源和辅原创 2022-01-13 15:57:27 · 2160 阅读 · 0 评论 -
恒源云(GPUSHARE)_CV领域有关【直方图】的论文小记
文章来源 | 恒源云社区(恒源智享云)原文地址 | 直方图原文作者 | instter学习目标掌握图像的直方图计算和显示了解掩膜的应用熟悉直方图均衡化,了解自适应均衡化1 灰度直方图1.1 原理直方图是对数据进行统计的一种方法,并且将统计值组织到一系列实现定义好的 bin 当中。其中, bin 为直方图中经常用到的一个概念,可以译为 “直条” 或 “组距”,其数值是从数据中计算出的特征统计量,这些数据可以是诸如梯度、方向、色彩或任何其他特征。图像直方图(Image Histogra原创 2022-01-12 15:22:21 · 82 阅读 · 0 评论 -
恒源云(GPUSHARE)_云GPU服务器如何使用iKataGo?
超好玩的围棋镜像来啦~原创 2022-01-11 12:24:37 · 1375 阅读 · 0 评论 -
恒源云(GPUSHARE)_云GPU服务器如何使用FinRL?
文章来源 | 恒源云社区(一个专注 AI 行业的共享算力平台:恒源智享云)原文地址 | FinRL嘤嘤嘤嘤~撒个娇,小可爱今天身体不适,跑完医院回到工位不想工作????可是工作指标不能不完成啊????那就简单的分享一个算法框架吧今天分享的框架叫做FinRL,是一个自动量化交易框架。安装???? 提示如果不使用虚拟环境安装,建议使用最新版本的 PyTorch 官方镜像,可以免除下载 PyTorch 依赖的时间。git clone https://github.com.cnpmjs.o原创 2022-01-06 16:33:03 · 885 阅读 · 0 评论 -
恒源云(GPUSHARE)_字节跳动的mRASP预训练模型真香
本文想构建一个统一的机器翻译模型,在提供任意语言对的情况下,可以快速适应新语言。于是提出一种通用的多语言机器翻译预训练模型:mRASP(多语言随机对齐预训练)原创 2022-01-05 17:35:36 · 1074 阅读 · 1 评论 -
恒源云(GPUSHARE)_云GPU服务器如何使用LightGBM?
LightGBM是一个基于决策树算法的快速、分布式、高性能的框架,用于排名、分类和许多其他机器学习任务。原创 2022-01-04 14:38:08 · 1313 阅读 · 0 评论 -
恒源云(GPUSHARE)_云GPU服务器如何使用SpaCy?
文章来源 | 恒源云社区(一个专注 AI 行业的共享算力平台:恒源智享云)原文地址 | SpaCy最近分享了社区大佬们的一些语言处理类的论文,干货满满!戳???? 可查看,也许就有你需要的知识点哦~恒源云 _[SimCSE]:对比学习,只需要 Dropout?恒源云 _LLD: 内部数据指导的标签去噪方法【ACL 2022】恒源云 _Y-Tuning: 通过对标签表征进行微调的深度学习新范式【ACL 2022】恒源云 _ 语音识别与语义处理领域之 NAG 优化器✨今天呢,就给大家分享一下如原创 2021-12-30 15:25:01 · 268 阅读 · 1 评论 -
恒源云(GPUSHARE)_[SimCSE]:对比学习,只需要 Dropout?
文章来源 | 恒源云社区(恒源云,专注 AI 行业的共享算力平台)原文地址 | Dropout原文作者 | Mathor要说2021年上半年NLP最火的论文,想必非《SimCSE: Simple Contrastive Learning of Sentence Embeddings》莫属。SimCSE的全称是Simple Contrastive Sentence EmbeddingSentence EmbeddingSentence Embedding一直是NLP领域的一个热门问题,主要是因为其原创 2021-12-29 16:34:39 · 582 阅读 · 0 评论 -
恒源云(GPUSHARE)_文本数据扩增时,哪些单词 (不) 应该被选择?
文章来源 | 恒源云社区(恒源云,专注 AI 行业的共享算力平台)原文地址 | 论文笔记原文作者 | Mathor我在,或者我不在,大佬就在那里,持续不断的发文!所以,我还是老老实实的搬运吧!正文开始:文本扩增(Text Augmentation)现在大部分人都在用,因为它可以帮助提升文本分类的效果,具体来说常用的方法包括但不限于:替换、删除、增加。一般来说文本扩增都会使得最终的性能更好,少部分情况下会更差。你或许可能想过是因为诸如删除、替换等方法将句子中一些重要的词给抹去了,但是到底句子中那原创 2021-12-23 17:32:05 · 752 阅读 · 0 评论 -
恒源云(GPUSHARE)_[文本分类] 文本数据增强1(论文笔记)
文章来源 | 恒源云社区(恒源智享云)原文地址 | 文本数据增强原文作者 | 角灰最近在做新闻标题分类,找了篇数据增强的文章学习学习:一篇就够!数据增强方法综述本文实现了EDA(简单数据增强)和回译:一. EDA1.1 随机替换import randomimport jiebaimport numpy as npimport paddlefrom paddlenlp.embeddings import TokenEmbedding# 从词向量中按余弦相似度找与某个词的topk近原创 2021-12-21 14:50:55 · 547 阅读 · 0 评论 -
恒源云(GPUSHARE)_云GPU服务器如何使用Spyder?
文章来源 | 恒源云社区(专注人工智能/深度学习云 GPU 服务器训练平台,官方体验网址:恒源智享云)原文地址 | spyder分享了几个礼拜的社区大佬的文章,今天给大家换个口味的。了解了那么多算法类深度学习的知识,总归是要应用到实际的,各位小伙伴你们说对不?而在运用那些知识之前,各类代码编辑器,你们又了解多少呢?今天,小编给大家带了一篇介绍Spyder使用方法的文章,想了解的小伙伴,就继续看下去吧!正文开始:Spyder 是一款免费、开源的跨平台 Python 语言开发环境,提供高级的代码原创 2021-12-20 15:43:01 · 202 阅读 · 0 评论 -
恒源云(GPUSHARE)_Y-Tuning: 通过对标签表征进行微调的深度学习新范式【ACL 2022】
文章来源 | 恒源云社区原文地址 | LLD: 内部数据指导的标签去噪方法原文作者 | Mathor原创 2021-12-17 17:08:55 · 1197 阅读 · 0 评论 -
恒源云(GPUSHARE)_LLD: 内部数据指导的标签去噪方法【ACL 2022】
文章来源 | 恒源云社区(恒源云,专注 AI 行业的共享算力平台)原文地址 | LLD: 内部数据指导的标签去噪方法原文作者 | Mathor大佬发文太勤快,再不搬运,我自己都不好意思了,所以今天给大家带来新的内容啦~正文开始:很多数据集中的标签都存在错误,即便它们是由人来标注的,错误标签的存在会给模型训练带来某些负面影响。目前缓解这种影响有诸如删除错误标签、降低其权重等方法。ACL2022有一篇名为《A Light Label Denoising Method with the Interna原创 2021-12-16 11:39:08 · 490 阅读 · 0 评论 -
恒源云(GPUSHARE)_语音识别与语义处理领域之 NAG 优化器
文章来源 | 恒源云社区原文地址 | NAG优化器原文作者 | 角灰社区人才济济,小编今天又发现一个宝藏版主‘角灰’。小编是个爱分享的人,看见好文章好作者怎能控制住不分享给大家呢?所以,接下来跟着小编我,一起快速浏览一下文章内容吧!正文开始最近在看fairseq源码时发现NAG优化器 (Nesterov Accelerate gradient)的实现与torch自带的有些许不一样,于是打算查下资料了解清楚。先回忆下Momentm,该梯度下降法引入动量的概念,使用β对历史梯度进行滑动指数加权平原创 2021-12-13 16:21:08 · 126 阅读 · 0 评论 -
恒源云(GPUSHARE)_CIFAR-10数据集实战:构建ResNet18神经网络
文章来源 | 恒源云社区原文地址 | 数据集实战原文作者 | Mathor实不相瞒,小编我对平台社区内的大佬Mathor很崇拜!这不,今天又来给大家分享大佬论文笔记了,赶紧看看接下来的内容是否有你们需要的知识点吧!正文开始:如果不了解ResNet的同学可以先看我的这篇博客ResNet论文阅读首先实现一个Residual Blockimport torchfrom torch import nnfrom torch.nn import functional as Fclass Res原创 2021-12-13 16:14:08 · 133 阅读 · 0 评论