负负得正的博客

LSTM

model=Word2Vec()criterion=nn.CrossEntropyLoss()optimizer=optim.Adam(model.parameters(),lr=3e-4)#批量大小batch_size=4。

输入：K 元语句（Word2Id 形式） 输出：下一个词的概率分布 P 1. 语料库 2. 根据语料库创建词表 构建词与 id 的映射： 构建 id 与词的映射： 输出为预测下一个词的概率分布，所以需要记录词表大小： Word2Vector 需要 Embedding 为几维： 7. 定义 n-gram，用前几个词预测下一个词 8. 定义神经网络隐藏层大小 9. 定义模型 10. 定义损失函数 11. 定义优化器 12. 定义输入 batch 13. 训练 以下两句代码均能实现取出输出结

Pytorch 循环神经网络 RNN 0. 环境介绍 环境使用 Kaggle 里免费建立的 Notebook 教程使用李沐老师的 动手学深度学习 网站和 视频讲解 小技巧：当遇到函数看不懂的时候可以按 Shift+Tab 查看函数详解。 1. 循环神经网络 1.1 潜变量自回归模型 使用潜变量 hth_tht​ 总结过去信息。 1.2 RNN 更新隐藏状态： Ht=ϕ(XtWxh+Ht−1Whh+bh)\mathbf{H}_t = \phi(\mathbf{X}_t \mathbf{W}_{xh} +

Pytorch 语言模型和数据集 0. 环境介绍 环境使用 Kaggle 里免费建立的 Notebook 教程使用李沐老师的 动手学深度学习 网站和 视频讲解 小技巧：当遇到函数看不懂的时候可以按 Shift+Tab 查看函数详解。 1. 语言模型 假设长度为的文本序列中的词元依次为 x1,x2,…,xTx_1, x_2, \ldots, x_Tx1​,x2​,…,xT​。 于是，xtx_txt​（1≤t≤T1 \leq t \leq T1≤t≤T） 可以被认为是文本序列在时间步处的观测或标签。 在给定这样

Pytorch 文本预处理 0. 环境介绍 环境使用 Kaggle 里免费建立的 Notebook 教程使用李沐老师的 动手学深度学习 网站和 视频讲解 小技巧：当遇到函数看不懂的时候可以按 Shift+Tab 查看函数详解。 1. 文本预处理 对于序列数据处理问题，我们在上一节中评估了所需的统计工具和预测时面临的挑战。 这样的数据存在许多种形式，文本是最常见例子之一。 例如，一篇文章可以被简单地看作是一串单词序列，甚至是一串字符序列。 本节中，我们将解析文本的常见预处理步骤。 这些步骤通常包括： 将文

Pytorch 序列模型 0. 环境介绍 环境使用 Kaggle 里免费建立的 Notebook 教程使用李沐老师的 动手学深度学习 网站和 视频讲解 小技巧：当遇到函数看不懂的时候可以按 Shift+Tab 查看函数详解。 1. 序列模型 1.1 序列数据 实际中很多数据是有时序结构的 电影的评价随时间变化而变化 拿奖后评分上升，直到奖项被忘记 看了很多好电影后，人们的期望变高 季节性：贺岁片、暑期档 导演、演员的负面情报导致评分变低 音乐、语言、文本和视频都是连续的 标题 “狗咬人” 远没有 “人