pytorch
Leokb24
这个作者很懒,什么都没留下…
展开
-
pytorch matmul和mm和bmm区别
结论从官方文档可以看出, mm只能进行矩阵乘法,也就是输入的两个tensor维度只能是(n×m)(n\times m)(n×m)和(m×p)(m\times p)(m×p), 而matmul可以进行张量乘法, 输入可以是高维....原创 2019-05-08 10:16:30 · 24273 阅读 · 3 评论 -
torchtext学习总结
文章目录TorchText概述Field对象Dataset迭代器具体使用使用Dataset类自定义Dataset类构建数据集构建词表最简单的方法:build_vocab()方法中传入用于构建词表的数据集使用预训练词向量构建迭代器批数据的使用在模型中指定Embedding层的权重使用torchtext构建的数据集用于LSTM一个使用torchtext内置数据集的例子读取json文件并生成batch设...翻译 2019-02-19 14:35:15 · 21900 阅读 · 10 评论 -
pytorch lstm总结
pytorch中lstm参数如下:1.batch_first作用我习惯把batch作为输入第一维, 所以就把batch_first设为True.结果跑实验报错, 提示维度有问题.调试后才发现batch_first只会影响input和output维度, h_t和c_t的维度仍然是[num_layers * num_directions, batch, hidden_size]2.outpu...原创 2019-05-07 22:20:35 · 2491 阅读 · 1 评论 -
关于参数初始化
目前常用的效果比较好的初始化方法有Xavier和Kaiming.Xavier初始化方法适用的激活函数有限:关于0对称;线性。而ReLU激活函数并不满足这些条件,实验也可以验证Xavier初始化确实不适用于ReLU激活函数。通过自己实验发现对于ReLU激活函数, Kaiming初始化确实比Xavier要好一些.tanh激活函数可以使用Xavier初始化.一个初始化的示例:def _init...原创 2019-05-21 09:44:44 · 620 阅读 · 0 评论