芳樽里的歌的博客

以一个文本分类案例来说明机器学习的常规流程及概率校准的用法

本文从PaddleNLP源码入手，分析WordPiece是如何基于词表对输入的文本进行子词切分的。为了更好地阅读本文，你需要知道子词切分与tokenize相关的知识，可以参考我之前的文章:tokenizer简介tokenizers：BPE算法WordPiece采用了一种贪心的最长匹配搜索算法来将原始文本切分成子词。为简单起见，假设词表中只有三个子词：['un', 'aff', 'able']，我们要切分的单词是“unaffable”。具体做法是，初始化两个位置变量（start和end，分别表示

本文结合BPE算法的论文，对该算法的原理及工作流程进行说明。

本文介绍了现代NLP中有关tokenizer的内容

本文主要介绍了Transformer模型的架构

万字长文，图文并茂，梳理NLP的发展史。

一篇英文博客的翻译版本，详情请戳原文。假如你可以得到Justin Bieber日常一天的连续快照，然后你想根据Justin Bieber正在进行的活动（吃饭、睡觉、开车等）对这些照片进行分类，那么你该怎么做呢？一种方法就是，忽略照片之间的关系，建立并训练一个接收单一照片的分类器。比如说，在对一个月的标记好的连续快照进行学习后，给定一张较黑暗的、在早晨6点拍摄的照片，那么分类器认为这...

一些介绍自然语言处理技术的优质资料。