![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Pytorch
文章平均质量分 86
Pytorch学习
Rui@
这个作者很懒,什么都没留下…
展开
-
Pytorch:深度学习中的Normalization
但是神经网络有多层,如果数据经过一层后都发生了数据分布的改变,就不能保证这个网络的高效性,这就是ICS问题,而深度学习中的Normalizaiton就是解决这个问题。假设是对一个全连接的网络层的输出做batch norm,此层的输出有五个神经元五个特征,每个特征的维度是1,然后这个batch是3。此部分通过1d的方式来验证BN的计算方式,batch中的数据也模拟成和上1d图一致。假设对3d卷积层的输出做batch norm,此卷积层输出的特征图大小是3。2大小,且一个层有3个卷积核,所以有3个特征图。原创 2022-08-23 18:02:15 · 1347 阅读 · 0 评论 -
Pytorch:tensorboard的使用
上诉代码执行完毕生成,文件(runs)–(Aug22_07-18-03_db50a46be61atest_tensorboard)–下面是几个标量的文件夹和event file。第二个参数,对于图像上数据,如果有的图像经过了模型归一化,其中的数据已经不是0-255,而是0-1的浮点数,这时候,如果发现数据都在0-1,会对其乘以255来可视化。接口中的参数:global_step,主要体现一个tag中有几幅图,并且在y轴上体现出来,如上图。最后一个参数,主要是有的图像的通道数在维度上不一样。原创 2022-08-22 17:18:17 · 1498 阅读 · 0 评论 -
Pytorch:损失函数
而我们对模型进行优化,也就是让loss最小优化损失函数,也就是优化这个交叉熵,而信息熵H§是常数,其实也就是优化相对熵。如上举例的四分类,y=[0,3,-1,-1],就要用x[3]和x[0] (即模型输出x中的第0个与第3个神经元概率值)减去另外两项。常用于多分类任务,交叉熵损失对于一个样本,有N个神经元输出(N分类)这个样本的损失也只有一个值,即把所有神经元上的损失进行了相加。但对于下文的二分类交叉熵损失,对于一个样本,有2个神经元输出(2分类),这个样本的损失也有2个,每个神经元都对应了一个损失。...原创 2022-08-18 21:46:36 · 1262 阅读 · 0 评论 -
Pytorch:数据读取机制Dataloader与Dataset
读那些数据:由sampler输出的index决定从哪儿读数据:由dataset中的data_dir决定怎么读数据:由dataset中的getitem决定。原创 2022-08-16 10:42:18 · 562 阅读 · 0 评论 -
Pytorch:autograd自动求导
功能:自动求取梯度tensors:用于求导的张量,如lossretain_graph:保存计算图create_graph:创建导数的计算图,用于高阶求导grad_tensors:多梯度权重:当一个张量直接调用backward时,如张量y,y.backward(),其实在源代码中这个张量被用去调用了torch.autograd.backward()方法。...原创 2022-08-14 14:24:03 · 288 阅读 · 0 评论 -
Pytorch-张量操作:拼接,切分,索引和变换
将张量按维度dim进行拼接在上进行拼接将张脸按维度dim进行平均切分返回值:张量列表注:若不能整除,最后一个张量小于其他张量,向上取整将张量按维度dim进行切分。原创 2022-08-11 10:33:36 · 726 阅读 · 0 评论 -
pytorch:张量概念与创建的api
Variable已经引入到torch.Tensor并且多了两个参数:dtype:data的类型shape:张量形状device:张量所在设备。原创 2022-08-11 09:27:45 · 320 阅读 · 0 评论