task02文本预处理；语言模型；循环神经网络基础

elsieyin

于 2020-02-14 17:56:27 发布

阅读量124

点赞数

分类专栏： boyu动手学Pytorch

本文链接：https://blog.csdn.net/elsieyin/article/details/104316269

版权

boyu动手学Pytorch 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

strip()方法

在这里插入图片描述

collections

在这里插入图片描述

语言模型

在这里插入图片描述

n元语法

在这里插入图片描述

随机采样

在这里插入图片描述

相邻采样

在这里插入图片描述

梯度裁剪

在BP过程中会产生梯度消失/爆炸
（偏导无限接近0，导致长时记忆无法更新）

$g_{1}=\frac{\partial J(\mathbf{w})}{\partial w_{1}},g_{2}=\frac{\partial J(\mathbf{w})}{\partial w_{2}}$ ， $\|\mathbf{g}\|_{2}=\sqrt{g_{1}^{2}+g_{2}^{2}}$

$\|\mathbf{g}\|_{2}$ 大于等于 ${\theta}$ 时，
$\mathbf{g}=\frac{\theta}{\|\mathbf{g}\|_{2}} \cdot \mathbf{g}$

$\|\mathbf{g}\|_{2}$ 小于等于 ${\theta}$ 时， $\mathbf{g}$ 不变

在这里插入图片描述

Perplexity

case	probability	Perplexity
good	p=1	Per=1
worst	p=0	Per=无穷
base_line	p=p	Per=Num of Class

elsieyin

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录