关注
分享
文章平均质量分 93
是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自
MT_Joy
某211计算机在读研究僧，bug与不bug，一切随缘
展开
-
MoCo 论文逐段精读【论文精读】--跟李沐学AI
视频链接：MoCo 论文逐段精读【论文精读】_哔哩哔哩_bilibiliMoCo: CVPR 2020 最佳论文，视觉 + 对比学习的里程碑式的工作对比学习：简单、好用；19年以来，视觉领域乃至整个 ML 领域最火的方向之一；盘活了从17年很卷的CV领域，MoCo是其中的优秀工作之一MoCo：无监督的表征学习工作 在 CV上表现怎么样？分类：逼近了有监督的 baseline检测、分割、人体关键点检测：大幅超越有监督预训练的模型 (ImageNet 上预训练的模型)CV ...原创 2022-04-06 13:57:43 · 3429 阅读 · 0 评论 -
ViT论文逐段精读【论文精读】-跟李沐学AI
视频链接：ViT论文逐段精读【论文精读】_哔哩哔哩_bilibiliViT：过去一年，CV 最有影响力的工作 推翻了 2012 Alexnet 提出的 CNN 在 CV 的统治地位有足够多的预训练数据，NLP 的 Transformer 搬运到 CV，效果很好打破 CV 和 NLP 的壁垒，给 CV、多模态 挖坑ViT效果有多好？CV 任务刷榜paperwithcode网站 霸榜 ImageNet （基于 ViT）和 COCO ,目标检测（Swin Transform...原创 2022-04-05 09:00:45 · 4367 阅读 · 0 评论 -
BERT 论文逐段精读【论文精读】-跟李沐学AI
视频链接：BERT 论文逐段精读【论文精读】_哔哩哔哩_bilibiliBERT: 近 3 年 NLP 最火CV: 大数据集上的训练好的 NN 模型，提升 CV 任务的性能 —— ImageNet 的 CNN 模型NLP: BERT 简化了 NLP 任务的训练，提升了 NLP 任务的性能BERT 如何站在巨人的肩膀上的？使用了哪些 NLP 已有的技术和思想？哪些是 BERT 的创新？1标题 + 作者01:34BERT: Pre-training of Deep ...原创 2022-04-04 10:08:26 · 4516 阅读 · 0 评论 -
Momentum Contrast for Unsupervised Visual Representation Learning--w文献翻译和笔记
用于跨模式检索的自监督对抗哈希网络摘要由于深入学习的成功，跨模式检索最近取得了显著的进展。然而，仍然存在着一个关键的瓶颈：如何弥合情态差异，进一步提高检索的准确性。在本文中，我们提出了一种自我监督的对抗性散列（SSAH）方法，它是早期尝试将对抗性学习以自我监督的方式纳入跨模式散列的方法之一。这项工作的主要贡献是利用两个敌对网络来最大化不同方式之间的相互关系和一致性。此外，我们还利用自监督语义网络以多标签注释的形式发现高级语义信息。这些信息指导了特征学习过程，并保持了公共需求空间和汉明斯空间.....原创 2021-12-28 14:24:38 · 307 阅读 · 0 评论 -
【论文笔记】An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (ViT)
题目：An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale作者：谷歌大脑团队（Dosovitskiy, A., Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, M. Dehghani, Matthias Minderer, Georg Heigold, S. Gelly, J...原创 2021-12-23 09:24:51 · 3574 阅读 · 0 评论 -
MAE 论文逐段精读【论文精读】（深度学习论文篇）
源于沐神：MAE 论文逐段精读【论文精读】 (bilibili.com)MAE 2021.11.11提交 arxiv知乎 百万 view; Reddit or Twitter 讨论不多MAE 很新 --> 如何在读比较新的文章 获取一些新的研究思路？和之前精读论文的关系？Transformer一个纯基于注意力机制的编码器和解码器表现比 RNN 架构好，在机器翻译任务BERT使用 一个 Transfor...原创 2021-12-22 16:28:10 · 5215 阅读 · 0 评论 -
CLIP Learning Transferable Visual Models From Natural Language Supervision (文本和图像的对比学习)--文献翻译和笔记
论文链接：[2103.00020] Learning Transferable Visual Models From Natural Language Supervision (arxiv.org)ICML2021(机器学习顶级会议)摘要最先进的计算机视觉系统被训练来预测一组固定的预定目标类别。这种受限制的监督形式限制了它们的通用性和可用性，因为需要额外的标记数据来指定任何其他可视化概念。直接从关于图像的原始文本中学习是一个很有前途的选择，它利用了更广泛的监督来源。我们证...原创 2021-12-21 16:03:02 · 2256 阅读 · 0 评论 -
Masked Autoencoders Are Scalable Vision Learners(屏蔽自编码器是可扩展的视觉学习器)--文献翻译和笔记
MAE的方法比较简单：对输入图片进行随机块的mask，然后对mask块中的像素进行重构。核心设计主要是源于两点。 第一，设计了非对称的编码器和解码器架构，其中编码器仅对没有进行mask的区域进行编码，解码器是轻量级的，能够重构原始的图片。 第二，如果对图片中绝大多数的区域进行mask，比如75%，就会得到一个很有意义的自监督任务。更加有效地训练大模型，如训练速度提升3倍 在ViT-Huge的模型中仅仅使用100W的数据就能得到(87.8）的准确率。在下游任务进行迁移学习的效果优于有监督的预训练。原创 2021-12-20 10:58:05 · 1865 阅读 · 0 评论 -
BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding--文献笔记和翻译
NAACL-HLT 2019: Minneapolis, MN, USA - Volume 1 (Long and Short Papers)自然语言处理领域有四大顶级会议，分别是：ACL, EMNLP, NAACL-HLT和COLING文献下载地址：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding - ACL Anthology源码下...原创 2021-11-30 13:21:37 · 201 阅读 · 0 评论