- 博客(7)
- 收藏
- 关注
RSS订阅原创 RoBERTa VS BERT
RoBERTa- A Robustly Optimized BERT Pretraining Approach在BERT模型的基础上，做了一些改进，提升了预训练模型的性能。把静态mask改成动态maskBERT中在数据预处理阶段，把数据集复制10份，然后进行MASK，也就是说原始数据集的每个句子都进行10次不同的MASK，但依然会在训练中出现重复。比如Epoch=40，那么每个相同的MA...
2020-04-08 10:42:20
2026
原创 Train Large, Then Compress
Train Large, Then Compress: Rethinking Model Size for Efficient Training and Inference of Transformers使用大模型训练，可以摒弃传统的训练方式（等到收敛才停止训练）而stop early，因为大模型可以在更短的时间内降低验证误差。这样一来，训练收敛节省的时间弥补了大量参数的计算代价。此外，预训...
2020-04-08 09:50:16
362
原创 SMART: Robust and Efficient Fine-Tuning for Pre-trained Natural Language Models
近年来，随着Transformer的出现，NLP领域的重心逐渐向迁移学习转变，也出现了BERT、GPT2等基于非监督学习的大型模型，有很多文章关注如何对其进行有效的预训练，但如何针对下游任务进行微调也是很值得研究的问题。本文介绍一篇2019年底的文章，《SMART: Robust and Efficient Fine-Tuning for Pre-trained Natural Language ...
2020-04-04 20:17:35
1100
原创 Numpy库与Pandas库基础
文章目录Numpy数组操作矩阵操作PandasNumpy全称Numerical Python，支持N维数组对象ndarray。ndarray是用于存放同类型元素的多维数组；ndarray中每个元素是数据类型对象的对象（成为dtype）；数组操作import numpy as np#创建数组a = [1,2,3,4]b = np.array(a)c = np.array([[1...
2020-03-23 11:19:55
794
原创 对抗机器学习基础（论文学习笔记三）
Foundation系列共有三个部分，是对《Evasion attacks against machine learning at test time》《Intriguing properties of neural networks》《Explaining and harnessing adversarial examples》三篇文章的阅读笔记整理。本文介绍《Explaining and ha...
2020-03-22 21:03:33
919
原创 对抗机器学习基础（论文学习笔记二）
Foundation系列共有三个部分，是对《Evasion attacks against machine learning at test time》《Intriguing properties of neural networks》《Explaining and harnessing adversarial examples》三篇文章的阅读笔记整理。本文介绍《Intriguing proper...
2020-03-22 11:03:48
971
原创 对抗机器学习基础（论文学习笔记一）
Adversarial ML Foundation（一）文章摘要（Abstract）入侵问题描述（Optimal Evasion）对手模型（Adversary Model）两种攻击场景（Attack Scenarios）攻击策略（Attack Strategy）梯度下降攻击（Gradient Descent Attack）实验结果（Experimental Result）Foundation共有...
2020-03-21 19:12:50
1672
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人