- 博客(3)
- 收藏
- 关注
原创 语言模型学习(01)传统统计语言模型以及初期的神经网络语言模型+Perplexity介绍
语言模型什么是语言模型? 对于语言序列(w1,w2,…,wn),语言模型就是计算该序列的概率,即P(w1,w2,…,wn)通俗的来说,就是随便由n个词组成的一句话s,可以通过语言模型来判断这句话是不是“人话”.这句话“越像人话”,那么语言模型就会给该句子一个偏大的概率,“越不像人话”则语言模型就会...
2020-03-03 16:10:44 1791
原创 Transformer 中self-attention以及mask操作的原理以及代码解析
笔者最近在梳理自然语言与训练模型的有关内容。在看到Bert的时候,突然发现Bert之后的预训练模型都与Transformer结构有关。该结构的一个为人所知的重点是self-attention,但是其另外一个重点mask操作却被人了解的很少,笔者借鉴了其他博主的优质内容,加上自己的理解整理了一下,希望从原理以及代码的角度来学习一下这两个知识点。**self-attention**Self-a...
2020-01-08 21:44:25 41665 16
原创 ubuntu 18.04下配置Python3 sublime for linux环境+Anocanda的配置
ubuntu 18.04下配置Python3 sublime for linux环境本人是刚学习python3的小白,本来一直使用pycharm作为编译器,感觉pycharm虽然功能很完善,但是还是一个笨重的编译器,自己还是偏好于一个轻量级的编译器,于是自己通过网上的一些博客来学习使用sublime作为Python编译器的方法,并且写下这人生中的第一篇博客作为记录,希望对之后的朋友有帮助!su...
2019-11-29 22:08:49 907
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人