- 博客(3)
- 收藏
- 关注
RSS订阅原创 BPE算法理解
原理（英文为例）：1.把每个单词都拆成单个字母，在单词结尾加上结束符，并标记上这个词出现的频率2.（以2-gram为例）把连续相邻的2个字母，进行组合，比如a b c-->ab bc ，同样标记上这个词出现的频率3.统计不同两个字母组合的最大频率，并选出最大字母组合。4.用选出的最大字母组合替换掉第一步中拆开的 两个字母 比如用ab 去替换掉 每个单词中出现的a b5....
2019-08-31 15:59:17
1468
2
原创 论文阅读：GPT2--Language Models are Unsupervised Multitask Learners
Abstact GPT2的核心思想就是认为可以用无监督的预训练模型去做有监督任务。 Introduction： 典型应用：最著名的语言模型就是手机上面的输入法，根据当前输入词推荐下一个词 目标上想构造一个通用的NLP模型，可以执行很多任务，不需要为每个任务手动创建和标记数据集 多任务学习：把多个相关的任务放在一起学习，同时学习多个任务。 基于共享表示，把多个相关的任务放在一起...
2019-08-31 15:05:01
1207
原创 论文阅读：GPT-Improving Language Understanding by Generative Pre-Training
Abstract 通过在不同的无标记的文本语料库上生成语言模型的预训练，然后对每个任务进行区分性调整 在微调期间使用任务感知的输入转换，同时对模型体系结构进行最小的更改 1.INTRODUCTION 未标记文本的单词级信息仍旧是一个挑战 1.First, it is unclear what type of optimization objectives are most eff...
2019-08-31 15:02:53
592
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人