- 博客(6)
- 收藏
- 关注
RSS订阅原创 预训练模型专题_Bart_论文学习笔记
Bart模型作为一种Seq2Seq结构的预训练模型，是由Facebook于2019年10月提出。Bart模型的论文为：《BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension》Bart模型代码：transformer库Bart模型Bart模型为一种基于去噪自编码器seq2seq结构的预训练模型。Bart模型在预训练阶段，核心的预训练
2021-01-20 19:17:15
11511
8
原创 预训练模型专题_GPT2_模型代码学习笔记
最近将huggingface的transformers库中的GPT2模型源码详细学习了一遍，因此将学习过程中，对于GPT2模型源码的一些学习笔记记录在此篇博客之中，以供之后参考。GPT2模型是OpenAI组织在2018年于GPT模型的基础上发布的新预训练模型，其论文原文为 language_models_are_unsupervised_multitask_learners一、GPT2与GPT的区别...
2020-12-23 22:22:11
13683
27
原创 AdaX (带”长期记忆“的优化器) _基于pytorch的算法实现
最近，一篇名为《AdaX: Adaptive Gradient Descent with Exponential Long Term Memory》的文章中介绍了一种名为AdaX的优化器。AdaX优化器在基于Adam优化器的基础上进行了修改。主要是在Adam优化器中二阶梯度的滑动平均vtv_{t}vt处做了修改，并且删除了Adam优化器中对于动量 (一阶梯度的滑动平均) mtm_{t}mt的偏置校正。AdaX优化器与Adam优化器的过程对比如下所示：AdaX优化器的参数更新过程为(其中β1\bet
2020-07-19 23:52:28
1674
2
原创 中文文本纠错_论文Spelling Error Correction with Soft-Masked BERT(ACL_2020)学习笔记与模型复现
中文文本纠错_论文Spelling Error Correction with Soft-Masked BERT(ACL_2020)学习笔记与模型复现最近在ACL 2020上看到一篇论文《Spelling Error Correction with Soft-Masked BERT》,论文的主题为中文文本纠错中的**Chinese spelling error correction (CSC)**任务，论文作者为来自字节跳动AI Lab与复旦大学的研究人员。《Spelling Error Correct
2020-07-01 01:34:05
6907
7
原创 解决sklearn中使用OrdinalEncoder编码测试集的类别特征中的未知类别时会报错的问题
解决sklearn中使用OrdinalEncoder方法将类别特征(categorical/discrete features)变为有序数值特征(ordinal integers)时无法编码测试集的类别特征中的未知类别的问题当数据集中存在类别特征时(categorical/discrete features)，我们一般的想法是将其转变为数值型的特征，比如如果是不存在内在高低顺序的类别特征，便可以...
2020-04-16 20:32:44
5381
2
原创 花书第六章： 循环神经网络加文本生成学习笔记
花书第六章： 循环神经网络加文本生成学习笔记'''''''''6.3 语言模型数据集（周杰伦专辑歌词）''''''学习github网址：https://github.com/ShusenTang/Dive-into-DL-PyTorch/blob/master/docs/chapter06_RNN/6.3_lang-model-dataset.md'''import torchimp...
2020-02-15 01:40:38
650
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人