- 博客(3)
- 收藏
- 关注
RSS订阅原创 语言模型学习（01）传统统计语言模型以及初期的神经网络语言模型+Perplexity介绍
语言模型什么是语言模型？ 对于语言序列(w1,w2,…,wn),语言模型就是计算该序列的概率，即P(w1,w2,…,wn)通俗的来说，就是随便由n个词组成的一句话s,可以通过语言模型来判断这句话是不是“人话”.这句话“越像人话”，那么语言模型就会给该句子一个偏大的概率，“越不像人话”则语言模型就会...
2020-03-03 16:10:44
1741
原创 Transformer 中self-attention以及mask操作的原理以及代码解析
笔者最近在梳理自然语言与训练模型的有关内容。在看到Bert的时候，突然发现Bert之后的预训练模型都与Transformer结构有关。该结构的一个为人所知的重点是self-attention，但是其另外一个重点mask操作却被人了解的很少，笔者借鉴了其他博主的优质内容，加上自己的理解整理了一下，希望从原理以及代码的角度来学习一下这两个知识点。**self-attention**Self-a...
2020-01-08 21:44:25
39882
16
原创 ubuntu 18.04下配置Python3 sublime for linux环境+Anocanda的配置
ubuntu 18.04下配置Python3 sublime for linux环境本人是刚学习python3的小白，本来一直使用pycharm作为编译器，感觉pycharm虽然功能很完善，但是还是一个笨重的编译器,自己还是偏好于一个轻量级的编译器,于是自己通过网上的一些博客来学习使用sublime作为Python编译器的方法，并且写下这人生中的第一篇博客作为记录，希望对之后的朋友有帮助！su...
2019-11-29 22:08:49
887
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人