![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习笔记
khk_abc
这个作者很懒,什么都没留下…
展开
-
torch计算图直观体验
通过损失直观体验torch计算图原创 2021-12-08 16:55:54 · 900 阅读 · 0 评论 -
注意力中的尺度放缩详解
直接上干货!!!在注意力中我们经常看到以下公式:scoreatten=softmax(QKTdk)score_{atten}=softmax(\frac{QK^T}{\sqrt{d_k}})scoreatten=softmax(dkQKT)为什么就要除以dkd_{k}dk呢?要除的话为什么要除以它而不是其他数呢?这是因为存在以下推导:(QKT)mn=∑idkqmikin(QK^T)_{mn}=\sum_i^{d_k}q_{mi}k_{in}(QKT)mn=i∑dkqmikin原创 2021-11-30 15:33:19 · 760 阅读 · 0 评论 -
torch.gather()函数详解
input:[[1,2,3],[4,5,6],[7,8,9]]index:[[2,1,0],[1,0,1]]如上已经给定了输入和索引,先假设dim=0根据index,其本身元素的索引有(0,0)、(0,1)、(0,2)、(1,0)、(1,1)、(1,2)因为设置dim=0,所以将index中的元素在dim=0这个维度进行替换,即得到(2,0)、(1,1)、(0,2)、(1,0)、(0,1)、(1,2),根据替换后的索引在input找值,得到输出output:[[7原创 2021-10-18 15:34:58 · 142 阅读 · 0 评论 -
机器学习||贝叶斯详解
文章目录机器学习||贝叶斯1.贝叶斯方法2.朴素贝叶斯方法3.拉普拉斯平滑机器学习||贝叶斯1.贝叶斯方法假设有C个类别,记为{w1,w2,...,wj,...wC}\{w_1,w_2,...,w_j,...w_C\}{w1,w2,...,wj,...wC},有样本xxx。分类器的分类错误概率是指xxx被分类成错误类的概率,用公式表达如下:p(error∣x)=∑jp(wj∣x),for x∈wi,i≠jp(error|x)=\sum _jp(w_j|x), for\space原创 2020-12-11 14:51:36 · 175 阅读 · 0 评论 -
tf.nn.avg_pooling踩坑
tensorflow之平均池化首先说一下我遇到的情况,刚开始学tensorflow,接触到池化pooling操作,其中有最大池化max_pooling、平均池化avg_pooling,其中平均池化avg_pooling资料上着重写的是用池化filter范围内的输入矩阵元素总和除以非零元素个数。上代码:import tensorflow as tf img=tf.constant([ ...原创 2020-03-01 17:00:29 · 1575 阅读 · 1 评论