深度学习
文章平均质量分 66
深度学习
默_silence
记得一定要努力,不然往后余生,做饭是你,洗衣是你,做家务是你……是你是你还是你
展开
-
vision transformer的计算复杂度
key和value的步长为2,query的步长为1,key和value的token数量减小了4倍,所以后续的多头注意力计算花销也减小了4倍。使用步长大于1的卷积进行多头注意力的投影,减小后面注意力的计算花销。基于滑动窗口的多头注意力,是在每个窗口内计算注意力。),使用三个标准卷积进行投影 ( 大小为。),和三个系数矩阵相乘 ( 大小为。)相乘,得到多头注意力的结果 (个patch,通道维度为。个patch,维度是。卷积进行卷积投影,有。经过MLP投影层 (原创 2023-05-28 22:09:26 · 1612 阅读 · 0 评论 -
tensorflow安装教程
一波三折的过程 QAQ一开始pip3不能用,就先去导入pip3先到anaconda下面的文件夹Scripts中,在cmd下输入:easy_install.exe pip此时,pip3就可以使用了再调用下面的命令,安装tensorflowpip3 install tensorflow然后运行tensorflow报错:AttributeError: module ‘numpy.core’ has no attribute ‘numerictypes’重装了一下numpy,提示:ERROR:原创 2021-04-04 12:38:10 · 1563 阅读 · 4 评论 -
感知机算法原理
文章目录感知机是什么?感知机的原理感知机的学习算法一点心得参考资料感知机是什么?感知机(perceptron):模拟生物神经元行为的机器,有与生物神经元相对应的部件,如权重(突触)、偏置(阈值)及激活函数(细胞体),输出为+1或-1。感知机是神经网络(深度学习)的起源算法,学习感知机的构造是通向神经网络和深度学习的一种重要思想。感知机的原理接收多个信号 xix_ixi,用权重 wiw_iwi 乘以 xix_ixi,再加上一个偏置值 bbb得到结果 ∑i=1nwixi+b∑_{i=1}^{原创 2021-03-13 12:28:30 · 732 阅读 · 1 评论