机器学习入门
文章平均质量分 56
aliez_银
学渣,致力于机器瞎学、数据掩埋、人工智障、深度遗忘
展开
-
torch.cuda.is_available() false情况分析
出现问题:cuda已经安装成功,但是程序调用时失败。问题原因:pytorch版本与cuda版本不匹配比如:本机环境是cuda 10.1虚拟环境中一开始安装的pytorch 1.3.1但是对应的是cuda9.2这个时候就要强制更新pytorch版本为适配版本。解决方法:首先进入pytorch官网pytorch官网首页的版本安装命令为:当前稳定版本图片最下方有之前的历史版本,点击可进入查看并挑选对应版本pytorch安装。找到你(环境需要的&&cuda版本对应)的原创 2021-04-19 08:22:43 · 386 阅读 · 1 评论 -
Attention,Multi-head Attention--注意力,多头注意力详解
Attention首先谈一谈attention。注意力函数其实就是把一个query,一个key-value的集合映射成一个输出。其中query,key,value,output(Attention Value)都是向量。输出是values的加权求和,是query与当前key的相关程度。Attention 函数的本质可以被描述为: 一个查询(query)到一个系列(键key-值value)对的映射。例如:计算A与B的attention,就是用A的Q与B的K-V来计算。Scaled Do原创 2021-03-26 18:21:26 · 43652 阅读 · 3 评论