![](https://img-blog.csdnimg.cn/2020110914035531.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
NLP
文章平均质量分 85
介绍自然语言处理相关的内容。
芳樽里的歌
关于文章内容有任何问题,请详细陈述并发邮件:protagoras1142@163.com。
不接受任何即时通信软件沟通。
展开
-
基因变异自动分类
以一个文本分类案例来说明机器学习的常规流程及概率校准的用法原创 2022-03-03 14:20:49 · 1169 阅读 · 0 评论 -
WordPiece是如何基于词表对文本进行切分的
本文从PaddleNLP源码入手,分析WordPiece是如何基于词表对输入的文本进行子词切分的。为了更好地阅读本文,你需要知道子词切分与tokenize相关的知识,可以参考我之前的文章:tokenizer简介tokenizers:BPE算法WordPiece采用了一种贪心的最长匹配搜索算法来将原始文本切分成子词。为简单起见,假设词表中只有三个子词:['un', 'aff', 'able'],我们要切分的单词是“unaffable”。具体做法是,初始化两个位置变量(start和end,分别表示原创 2021-12-31 08:57:39 · 1644 阅读 · 0 评论 -
tokenizers:BPE算法
本文结合BPE算法的论文,对该算法的原理及工作流程进行说明。原创 2021-12-15 15:46:51 · 2728 阅读 · 0 评论 -
tokenizer简介
本文介绍了现代NLP中有关tokenizer的内容翻译 2021-12-08 10:00:20 · 23848 阅读 · 3 评论 -
Transformer:NLP中预训练模型的核心算法
本文主要介绍了Transformer模型的架构原创 2021-10-31 19:59:50 · 1292 阅读 · 0 评论 -
自然语言处理技术发展简史
万字长文,图文并茂,梳理NLP的发展史。原创 2021-09-10 18:28:41 · 5268 阅读 · 2 评论 -
条件随机场简介
一篇英文博客的翻译版本,详情请戳原文。假如你可以得到Justin Bieber日常一天的连续快照,然后你想根据Justin Bieber正在进行的活动(吃饭、睡觉、开车等)对这些照片进行分类,那么你该怎么做呢?一种方法就是,忽略照片之间的关系,建立并训练一个接收单一照片的分类器。比如说,在对一个月的标记好的连续快照进行学习后,给定一张较黑暗的、在早晨6点拍摄的照片,那么分类器认为这...翻译 2018-09-07 18:31:37 · 960 阅读 · 0 评论 -
NLP优质参考资料
一些介绍自然语言处理技术的优质资料。原创 2020-11-05 17:15:48 · 305 阅读 · 0 评论