- 博客(9)
- 收藏
- 关注
原创 Transformer和Conv2d卷积运算随手记
基础神经网络:CNN、RNN、seq2seq模型(encoder+attention+decoder)的基础模块,可以用CNN、RNN、Transformer等进行做CNN权重共享体现在滑动窗口上,正着计算和反着计算是相同的多层卷积进行长程建模,对相对位置敏感,对绝对位置不敏感RNN循环神经网络,当前时刻的输出依赖于上一时刻的运算,对位置和顺序非常的敏感,运算也非常的耗时。对于相对位置敏感,对于绝对位置也敏感transformer没有序假设,序列建模问题相当于是这样。
2024-08-20 18:01:30
765
原创 Pytorch基础知识3
上面F.dropout其实就是torch.nn.functional.dropout(input,p=0.5,training=True,inplace=False)另一种是以函数的形式实现:torch.nn.functional.dropout(input,p=0.5,training=True,inplace=False)m=nn.Dropout(p=0.2) ## m为被Dropout的张量,p要置为0的神经元的比例。Dropout分为两种,一种是以类的形式实现nn.Dropout()
2024-08-18 18:30:27
649
原创 Pytorch基础知识2
当调用_parameters, _buffers时没有设定相关参数的话,会返回空字典,返回的是当前模型的字段(不是子模型的字段),register_parameters设定的参数.torch.save(model.state_dict(), 'model_weights.pth') ##这个是只保存模型的权重。有_parameters, _modules, _buffers三种成员变量, _modules存放的是子模块的参数。z=torch.matmul(x,w)+b ##继承父类自动微分。
2024-08-17 23:55:46
800
1
原创 Pytorch基础知识1
张量和数组的区别,Tensor可以在GPU上运行,张量和数组可使用同一片内存空间Tensor支持自动微分(Pytorch中)Pytorch中导入是a=[1,2,3]type(b) ##显示的是b的类型b.dtype ##显示的是b中数据的类型也可以用numpy数组创建tensorc=torch.ones_like(b) ##创建成相同形状和数据类型的张量也可以用另一个张两种a.dtypea.shapea.device张量是在cpu还是GPU上面创建的。
2024-08-17 01:41:56
812
原创 使用python生成包含1000个随机字符的字符串,然后统计每个字符的出现次数。(使用字典)
【代码】使用python生成包含1000个随机字符的字符串,然后统计每个字符的出现次数。(使用字典)
2023-10-19 13:34:14
924
1
原创 编写程序,生成一个包含50个随机数的列表,然后删除列表中的所有奇数。
filter理解为过滤函数,第一个参数是定义的函数名,第二个参数是生成的列表。定义的函数将符合条件的元素筛选出来返回一个新的列表对象。
2023-10-01 16:50:32
418
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人