pytorch代码实战
文章平均质量分 96
x_cube
这个作者很懒,什么都没留下…
展开
-
pytorch8——模型权值初始化和损失函数
Pytorch里面提供了很多权重初始化的方法,可以分为下面的四大类:针对饱和激活函数(sigmoid, tanh):Xavier均匀分布, Xavier正态分布针对非饱和激活函数(relu及变种):Kaiming均匀分布, Kaiming正态分布三个常用的分布初始化方法:均匀分布,正态分布,常数分布。#均匀分布初始化# 正态分布初始化# 常数初始化三个特殊的矩阵初始化方法:0初始化,正交矩阵初始化,单位矩阵初始化。#0初始化#单位矩阵初始化# 正交初始化。原创 2024-01-26 20:41:42 · 687 阅读 · 1 评论 -
pytorch7——模型层之Transformer
本文主要对Transformer做代码实现和做一些问答,可以让你更好的对她更深入的了解。看图写代码首先我们看到整个模型由不同的组件组成,其中最重要的部分是多头注意力部分,我们首先从这部分下手。原创 2023-10-17 21:23:17 · 854 阅读 · 0 评论 -
pytorch系列6——模型层(CNN,RNN, Transformer...)
类似水池收集水资源, 因而美其名曰池化层。原创 2023-10-17 21:08:00 · 265 阅读 · 0 评论 -
pytorch系列5——模型基础nn.Module
利用张量的API我们可以构建出神经网络相关的组件(如激活函数,模型层,损失函数)。Pytorch和神经网络相关的功能组件大多都封装在 torch.nn模块下。原创 2023-10-12 16:43:58 · 147 阅读 · 0 评论 -
pytorch系列4——数据Dataset&DataLoader
Dataset*args**kwds所有表示从键到数据样本映射的数据集都应该将其子类化。所有子类都应该覆盖__getitem__(),支持为给定的键获取数据样本。子类还可以选择性地覆盖__len__(),许多Sampler实现和DataLoader的默认选项都期望它返回数据集的大小。Dataset定义,类似于列表的数据结构,长度确定,能够用数据集中的元素。Dataset抽象类, 所有自定义的Dataset都需要继承它,并且必须这个类方法,作用是接收一个索引, 返回一个样本。原创 2023-10-11 19:49:02 · 139 阅读 · 0 评论 -
pytorch系列3——动态计算图和自动微分
动态计算图和自动微分原创 2023-10-07 21:39:52 · 141 阅读 · 0 评论 -
pytorch系列2——张量结构操作
文本的操作在github上都有,且有运行结果。原创 2023-10-02 15:22:01 · 225 阅读 · 0 评论 -
pytorch系列1——张量数据结构
张量其实是一个多维数组,它是标量、向量、矩阵的高维拓展。基于平时常用的张量进行整理,有些操作请区分张量和numpy数组,本文的操作主要针对张量的操作。因为二者看着一样,有的方法放在numpy上会报错。原创 2023-10-01 21:35:27 · 67 阅读 · 1 评论 -
python命令行参数解析包argparse
犯的错:将文件名和包名起了一样。。。会报模块不存在的错。原创 2023-04-28 17:22:07 · 169 阅读 · 0 评论