- 博客(8)
- 收藏
- 关注
RSS订阅原创 attention mechanism in computer vision(1)——channel attention
attention mechanism in computer vision(1)——channel attention文章目录attention mechanism in computer vision(1)——channel attention一、attention的一般模式：二、Channel attention三、SENet四、GSoP-Net五、SRM六、GCT一、attention的一般模式：Attention = f(g(x), x)，g(x)代表了识别出重要区域的过程，f(g(x)
2021-12-05 16:05:37
3123
原创 【无标题】
vision transformer学习记录（1）关于归纳偏置的一些问题文章目录vision transformer学习记录（1）关于归纳偏置的一些问题一、VIT缺少归纳偏置二、归纳偏置总结一、VIT缺少归纳偏置少了很多图片特有的归纳偏置，在CNN中，每一层都有体现局部性和平移等变性，对VIT只有MLP有这两个特性，子注意力层绝对是全局的，图片2D的信息，VIT也没怎么使用，除了切割成patch还有加position embedding时使用，其余没有任何争对视觉、图片的归纳偏置，而且位置编码也是
2021-12-01 16:36:23
927
原创 2021-07-13
房价预测一、读入数据二、预处理1.将train,test的共同部分集合起来一起处理三、后续操作（懒得起名字）2.设置一个简单模型3.损失界定4、训练模型5、k折交叉6、给定参数7、给出训练的最终损失和预测值总结一、读入数据mport pandas as pdimport torchimport d2l.torch as d2lfrom torch import nnimport numpy as npdata_train,data_test=pd.read_csv('C:\\Users\\n
2021-07-13 11:04:18
300
原创 2021-07-12
权重衰减前言一、权重衰减1.生成数据2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、权重衰减1.生成数据代码如下（示例）：import torchfrom torch import nnimport d2l.torch as d2l# 生成数据n_train,n_test,num_inputs,bat
2021-07-12 10:17:58
184
原创 2021-07-11
生成数据，拟合检测，欠拟合，过拟合文章目录一、生成数据2.装换成tensor3、损失计算4、主要部分，训练函数5、给出几种拟合一、生成数据先使用numpy生成数据，再装换成tensor#生成数据max_degree=20n_train,n_test=100,100ture_w=np.zeros(max_degree)ture_w[:4]=np.array([5,1.2,-3.4,5.6])feature=np.random.normal(size=(n_test+n_train,1)
2021-07-11 19:03:24
227
1
原创 2021-07-10
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、迭代器的一些感悟二、使用步骤1.引入库2.读入数据总结前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、迭代器的一些感悟生成的迭代器只能遍历一次：a=iter(list(range
2021-07-11 16:29:34
165
原创 2021-07-09
2021/7/9学习成果一、读取数据转换成tensor2.多层感知机2.多层感知机3.画图的感悟4.多层感知机的从底层开始实现总结一、读取数据转换成tensor代码如下（示例）：from sklearn.model_selection import train_test_splitimport numpy as npimport torchimport torch.utils as dataimport d2l.torch as d2limport pandas as pddata..
2021-07-10 09:54:50
741
原创 2021-07-09
学习目标：现在是2021年7月9日，距离开学只有一个月多了，几乎从零开始的pytorch学习，go!学习内容：1、 学习pytorch基本语法2、 深度学习的几个重要模型，一个月到熟练写成transformer3、 英语英语还是英语！4、 试着学日语吧学习时间：1、 8：00~12：00学习pytorch，2、 12：00~13:00,Apex时间3、 13：00~13：30午睡4、13：30~14：20英语5、14：30~15：00日语6、15：00~15：30高代7、
2021-07-09 11:11:12
70
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人