- 博客(4)
- 收藏
- 关注
RSS订阅原创 Transformer中的相对位置编码(Relative Position Embedding)
本篇preview：回顾transformer中绝对位置编码（absolute position embedding）相对位置编码方法详解和公式推导相对位置编码代码实现回顾transformer中绝对位置编码（absolute position embedding）在transformer的实现中，所有的input tokens是无序的，是没法像RNN的方法一样学到token之间的位置顺序关系，但是自然语言一定是有语序在里面的，所以原始的transformer的代码实现里就提供了一种非常简单的位置编码，
2022-02-18 21:30:56
9643
原创 解决RuntimeError: CUDA error: an illegal memory access was encountered问题
用pytorch在多卡训练transformers的时候出现了以下问题：RuntimeError: CUDA error: an illegal memory access was encounteredterminate called after throwing an instance of 'c10::Error' what(): CUDA error: an illegal memory access was encounteredException raised from create
2022-02-11 20:51:36
10395
2
原创 解决TypeError: can only concatenate tuple (not “Tensor“) to tuple问题｜CSDN创作打卡
解决TypeError: can only concatenate tuple (not “Tensor”) to tuple问题在写pytorch的时候遇到的错误，想实现的功能是在tuple元组中插入新的元素，改正之前写的错误的语句是：final_output = final_output + (qi_loss)报错截图如下：就是类型错误，很容易想到就是增加的元素类型不是元组。解决方法：final_output = final_output + (qi_loss,)没错，就是在括号里的元
2022-02-11 12:21:43
5658
原创 安卓模拟器下使用TensorflowLite实现Object Detection｜CSDN创作打卡
非常入门的TFLite目标检测，基本上是整合了官网的一些教程，自己加上了配合安卓模拟器使用的这一部分。移动端比较：移动端跑深度学习模型大概现在TFLite用的比较多，所以有移动端运行需要的大概就要早期搭网络的时候就使用tensorflow了吧。我的操作系统是Windows, 目标检测网络为mobileNet+SSD。搭建过程： 安装andriodstudio，版本3.2以上。(https://developer.android.com/studio/index.html) g.
2022-02-09 21:29:59
1974
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人