- 博客(8)
- 收藏
- 关注
原创 attention mechanism in computer vision(1)——channel attention
attention mechanism in computer vision(1)——channel attention文章目录attention mechanism in computer vision(1)——channel attention一、attention的一般模式:二、Channel attention三、SENet四、GSoP-Net五、SRM六、GCT一、attention的一般模式:Attention = f(g(x), x),g(x)代表了识别出重要区域的过程,f(g(x)
2021-12-05 16:05:37
3123
原创 【无标题】
vision transformer学习记录(1)关于归纳偏置的一些问题文章目录vision transformer学习记录(1)关于归纳偏置的一些问题一、VIT缺少归纳偏置二、归纳偏置总结一、VIT缺少归纳偏置少了很多图片特有的归纳偏置,在CNN中,每一层都有体现局部性和平移等变性,对VIT只有MLP有这两个特性,子注意力层绝对是全局的,图片2D的信息,VIT也没怎么使用,除了切割成patch还有加position embedding时使用,其余没有任何争对视觉、图片的归纳偏置,而且位置编码也是
2021-12-01 16:36:23
927
原创 2021-07-13
房价预测一、读入数据二、预处理1.将train,test的共同部分集合起来一起处理三、后续操作(懒得起名字)2.设置一个简单模型3.损失界定4、训练模型5、k折交叉6、给定参数7、给出训练的最终损失和预测值总结一、读入数据mport pandas as pdimport torchimport d2l.torch as d2lfrom torch import nnimport numpy as npdata_train,data_test=pd.read_csv('C:\\Users\\n
2021-07-13 11:04:18
300
原创 2021-07-12
权重衰减前言一、权重衰减1.生成数据2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考一、权重衰减1.生成数据代码如下(示例):import torchfrom torch import nnimport d2l.torch as d2l# 生成数据n_train,n_test,num_inputs,bat
2021-07-12 10:17:58
184
原创 2021-07-11
生成数据,拟合检测,欠拟合,过拟合文章目录一、生成数据2.装换成tensor3、损失计算4、主要部分,训练函数5、给出几种拟合一、生成数据先使用numpy生成数据,再装换成tensor#生成数据max_degree=20n_train,n_test=100,100ture_w=np.zeros(max_degree)ture_w[:4]=np.array([5,1.2,-3.4,5.6])feature=np.random.normal(size=(n_test+n_train,1)
2021-07-11 19:03:24
227
1
原创 2021-07-10
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、迭代器的一些感悟二、使用步骤1.引入库2.读入数据总结前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考一、迭代器的一些感悟生成的迭代器只能遍历一次:a=iter(list(range
2021-07-11 16:29:34
165
原创 2021-07-09
2021/7/9学习成果一、读取数据转换成tensor2.多层感知机2.多层感知机3.画图的感悟4.多层感知机的从底层开始实现总结一、读取数据转换成tensor代码如下(示例):from sklearn.model_selection import train_test_splitimport numpy as npimport torchimport torch.utils as dataimport d2l.torch as d2limport pandas as pddata..
2021-07-10 09:54:50
741
原创 2021-07-09
学习目标:现在是2021年7月9日,距离开学只有一个月多了,几乎从零开始的pytorch学习,go!学习内容:1、 学习pytorch基本语法2、 深度学习的几个重要模型,一个月到熟练写成transformer3、 英语英语还是英语!4、 试着学日语吧学习时间:1、 8:00~12:00学习pytorch,2、 12:00~13:00,Apex时间3、 13:00~13:30午睡4、13:30~14:20英语5、14:30~15:00日语6、15:00~15:30高代7、
2021-07-09 11:11:12
70
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人