pytorch
Dicoee
自由飞翔的小菜鸟
展开
-
卷积神经网络pytorch实现(二):池化层
#%%'''实际图像里,我们所感兴趣的物体不会总是出现在同一个地方,这些物品一定会出现在不同的像素位置,因此导致同一个边缘的输出会在总的卷积输出Y的不同同位置,造成模式识别的不便而池化层的提出是为了缓解卷积层对位置的过度敏感性'''#%%'''二维最大池化函数和平均池化层'''import torchfrom torch import nn#这里的mode参数可以填...原创 2020-03-05 17:20:24 · 879 阅读 · 0 评论 -
卷积神经网络 pytorch实现(一):卷积层
import torchimport torch.nn as nn'''二维卷积层''''''该函数计算二维互相关运算'''def corr2d(X,K): h,w=K.shape #首先构造出运算过后的矩阵形状并用0填充 Y=torch.zeros((X.shape[0]-h+1,X.shape[1]-w+1)) for i in range(Y.shap...原创 2020-03-05 14:59:19 · 1863 阅读 · 0 评论 -
权重衰减
关于权重衰减可以看一下我贴上来的的笔记下面时使用高维线性模型来进行权重衰减的实现的jupyter代码#%%'''验证权重衰减的高纬线性回归实验'''%matplotlib inlineimport torchimport torch.nn as nnimport numpy as npimport syssys.path.append("..")import dlzh.d2...原创 2020-02-22 11:22:38 · 285 阅读 · 0 评论 -
ReLU激活函数杂谈
在实现多层感知机代码实现中使用了ReLU激活函数:ReLU(x)=max(x,0)ReLU(x)=max(x,0)ReLU(x)=max(x,0)形状大概是这样的这里根据几个问题来进行回答解释为什么要使用激活函数呢?简单来说激活函数的作用就是将仿射函数进行非线性化,可以拟合出更多的情况。更详细的解答可以参考知乎激活函数的解释ReLU函数的梯度问题首先谈一下sigimoid函数的梯...原创 2020-02-19 21:52:11 · 1125 阅读 · 0 评论 -
简单线性回归模型的pytorch实现
线性回归模型可能对于大家来说非常的简单,但是对于像我一样的pytorch新手来说,还是花了些时间去思考和了解的,下面直接上代码,新入pytorch坑的同学可以一边看我的注释一边想想代码还可以怎么写。对了,大概说一下这里的线性回归模型的形式y=w1∗x+w2∗x+b y=w_1*x+w_2*x+by=w1∗x+w2∗x+bimport torchimport timeimport nu...原创 2020-02-15 17:45:46 · 341 阅读 · 0 评论 -
神经网络中的全连接层
上图是一个非常简单的实现线性回归的神经网络,输入分别是x1,x2x_1,x_2x1,x2,因此输入个数也称作特征数,或者特征向量维度。这个神经网络的输出是ooo,即y=oy=oy=o。这里是一个单层的神经网络,而输入层不发生运算,因此这里的ooo单元发生运算,也被称为神经元。这里输出的计算完全依赖输入层所有输入,因此这里的输出层有称为全连接层(fully-connected layer)...原创 2020-02-15 11:16:52 · 1650 阅读 · 0 评论 -
pytorch之张量切片函数index_select介绍
最近加入了一个deeplearning的学习小组开始学习pytorch,初始对这个向量切片函数index_select()感到有些疑惑,经过自己一番实验之后,应该算是懂了吧,和大家一起分享一下实验结果。index_select有两种用法,一种是将某一个张量(tensor)作为变量传入torch.index_select()函数,还有一个是tensor的内置方法index_select。用法分别...原创 2020-02-12 10:45:08 · 2686 阅读 · 3 评论