自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 收藏
  • 关注

原创 RoBERTa VS BERT

RoBERTa- A Robustly Optimized BERT Pretraining Approach在BERT模型的基础上,做了一些改进,提升了预训练模型的性能。把静态mask改成动态maskBERT中在数据预处理阶段,把数据集复制10份,然后进行MASK,也就是说原始数据集的每个句子都进行10次不同的MASK,但依然会在训练中出现重复。比如Epoch=40,那么每个相同的MA...

2020-04-08 10:42:20 2026

原创 Train Large, Then Compress

Train Large, Then Compress: Rethinking Model Size for Efficient Training and Inference of Transformers使用大模型训练,可以摒弃传统的训练方式(等到收敛才停止训练)而stop early,因为大模型可以在更短的时间内降低验证误差。这样一来,训练收敛节省的时间弥补了大量参数的计算代价。此外,预训...

2020-04-08 09:50:16 362

原创 SMART: Robust and Efficient Fine-Tuning for Pre-trained Natural Language Models

近年来,随着Transformer的出现,NLP领域的重心逐渐向迁移学习转变,也出现了BERT、GPT2等基于非监督学习的大型模型,有很多文章关注如何对其进行有效的预训练,但如何针对下游任务进行微调也是很值得研究的问题。本文介绍一篇2019年底的文章,《SMART: Robust and Efficient Fine-Tuning for Pre-trained Natural Language ...

2020-04-04 20:17:35 1100

原创 Numpy库与Pandas库基础

文章目录Numpy数组操作矩阵操作PandasNumpy全称Numerical Python,支持N维数组对象ndarray。ndarray是用于存放同类型元素的多维数组;ndarray中每个元素是数据类型对象的对象(成为dtype);数组操作import numpy as np#创建数组a = [1,2,3,4]b = np.array(a)c = np.array([[1...

2020-03-23 11:19:55 794

原创 对抗机器学习基础(论文学习笔记三)

Foundation系列共有三个部分,是对《Evasion attacks against machine learning at test time》《Intriguing properties of neural networks》《Explaining and harnessing adversarial examples》三篇文章的阅读笔记整理。本文介绍《Explaining and ha...

2020-03-22 21:03:33 919

原创 对抗机器学习基础(论文学习笔记二)

Foundation系列共有三个部分,是对《Evasion attacks against machine learning at test time》《Intriguing properties of neural networks》《Explaining and harnessing adversarial examples》三篇文章的阅读笔记整理。本文介绍《Intriguing proper...

2020-03-22 11:03:48 971

原创 对抗机器学习基础(论文学习笔记一)

Adversarial ML Foundation(一)文章摘要(Abstract)入侵问题描述(Optimal Evasion)对手模型(Adversary Model)两种攻击场景(Attack Scenarios)攻击策略(Attack Strategy)梯度下降攻击(Gradient Descent Attack)实验结果(Experimental Result)Foundation共有...

2020-03-21 19:12:50 1672

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除