Day2
Python对应pytorch数据类型
例如表示3，则IntTensor（3） ，dimension为0
表示一个矩阵，则dimension为2
string例如‘hello’，没有对应的，因为pytorch是处理数值的
所以用pytorch处理string类型时，用数字编码表示
One-hot
例如
[1,0]表示dog
[0,1]表示cat
但是两个单词的相关性无法在one-hot中显示，比如I like和I don’t like
A的ASCII码为0x34
数据类型
randn（2,3）随机初始化一个2行3列的tensor，均值0，方差为1
isinstance可以用作参数的检验
.X.cuda()会返回一个gpu上的引用，在gpu中数据类型需要多加.cuda
Pytorch中维度（Dimension）概念的理解
标量，Dimension为0
例如python中1.0,2.2
pytorch中即torch.tensor(2.2)
例如：神经网络中损失函数loss是dimension为0的标量
size和shape在pytorh中都表示tensor的类型
标量的形状
a.shape
a.dim()
a.size()
【例】
| #导入torch import torch #创建一个维度为0的tensor a = torch.tensor(1.) print(a)#输出a print(a.size())#表示tensor的类型，size和shape在pytorh中都表示tensor的类型 print(a.shape) print(len(a.shape)) 输出： tensor(1.) torch.Size([]) torch.Size([]) 0 |
dimension为1的tensor，数学中叫向量，在pytorch称为张量
维度为1的tensor，与维度为0的张量创建时相比，仅仅只多了一个[ ]
.tensor接受的是数据的内容,.tensor([1.1,2.2]) 具体的数据
.FloatTensor接受的是数据的shape,.FloatTensor(2)，给定向量的长度为2，则会随机初始化两个向量
dimension为1的tensor一般用在Bias（偏置），是一个dimension为1的tensor
或神经网络中线性层的输入
例如一张图片[28,28]可以用[784]即dimension为1的tensor送到神经网络中
如何得到dimension为1的shape
2行2列，即dimension为2
【例】
| #导入torch import torch #创建一个维度为1的tensor a = torch.tensor([1.1]) print(a)#输出a print(a.shape)#输出形状 print(len(a.shape)) |
| 输出： tensor([1.1000])#python中默认为浮点数类型 torch.Size([1])#中括号里边的1，即代表1维 1 |
dimension为2的tensor
使用随机正态分布生成2行3列的tensor，torch.randn(2,3)
dimension为2的tensor经常使用：带有batch的Linear的输入
例如4张图片，每张图片用784的维度来表示
[4,784]
4表示哪一张照片，第0,1,2,3张照片
784表示照片的具体的数据内容
【例】
| #导入torch import torch #创建一个维度为2的tensor b = torch.randn(2,3)#randn是正态分布，即创建一个2行3列的矩阵，矩阵内元素符合均值为0方差为1的分布 print(b)#输出b print(b.size())#输出tensor的类型 print(len(b.shape)) |
| tensor([[-0.6245, -0.9659, 0.8636], [-0.9493, 0.6241, -1.5067]]) torch.Size([2, 3])#tensor类型为2行3列的矩阵 2 |
那么我们如何来理解这个二维的tensor呢？实际上，这个二维的tensor就是一个二维矩阵，2维即可理解为矩阵的行和列，行即维度为0，列即维度为1。我们再来看一下：
| print(b.shape[0]) print(b.shape[1]) |
| 2 3 |
显示，我们可以更加直观的看出，2维的tensor，其索引为0和1，0代表其行数，1代表其列数。在大致了解了二维的tensor后，我们再来理解一下他的物理意义：
一个带有batch的线性层输入，即加入一个图片的宽和高为[25,25],打平后为[625],
则[2,625]即表示2张图片一块输入，每个图片的大小是625
dimension为3的tensor
rand随机均匀分布，torch.rand(1,2,3)
dimension为3较多的使用场景RNN，适合文字处理，对于一个RNN，一句话有10个单词，一个单词我们用一个one-hot编码
每个feature用100维向量表示即[10,100]
[10,20,100],10表示10个单词，20表示一次送20个句子，100表示一次用100维的向量表示一个单词
【例】
| #导入torch import torch #创建一个维度为3的tensor c = torch.rand(3,2,3) print(c) print(c.shape) |
| tensor([[[0.0932, 0.7748, 0.1215], [0.6337, 0.3522, 0.1062]], [[0.5779, 0.6993, 0.0230], [0.9226, 0.5299, 0.1861]], [[0.0227, 0.3016, 0.9368], [0.7684, 0.7787, 0.6171]]]) torch.Size([3, 2, 3]) |
dimension为4的tensor
适合图片这种类型维度为4的tensor，最常见的情况就是在卷积神经网络 中，[batch,channel,height,width]。
【例】
| #导入torch import torch #创建一个维度为4的tensor c = torch.rand(2,3,25,25) """ 上边创建的四维tensor ，各参数的物理意义可理解为;2表示进行处理的图片batch，这里为两张； 3表示的是该图片为彩色图片，channel数量为RGB3通道，25*25表示图片的长和宽。 """ print(c) print(c.shape) print(c.numel() )#numel函数，及number element。即逐元素相乘。 print(c.dim())#求tensor的维度为多少 |
| tensor([[[[0.0885, 0.7384, 0.6371, ..., 0.3208, 0.0581, 0.7142], [0.8130, 0.0404, 0.7012, ..., 0.6019, 0.1015, 0.9588], [0.4855, 0.6130, 0.1593, ..., 0.1474, 0.3851, 0.5320], ..., [0.1728, 0.4715, 0.3917, ..., 0.9605, 0.8233, 0.8145], [0.6379, 0.7163, 0.2047, ..., 0.2210, 0.8876, 0.7437], [0.2638, 0.3275, 0.7637, ..., 0.5851, 0.0522, 0.8435]], [[0.4587, 0.2620, 0.5742, ..., 0.1823, 0.1100, 0.7643], [0.8904, 0.8908, 0.1480, ..., 0.3918, 0.3410, 0.7371], [0.6350, 0.4235, 0.4947, ..., 0.1291, 0.7077, 0.4199], ..., [0.9750, 0.9149, 0.0253, ..., 0.7849, 0.9863, 0.4276], [0.4117, 0.9636, 0.2074, ..., 0.5924, 0.8397, 0.5174], [0.6355, 0.9376, 0.6325, ..., 0.5065, 0.9398, 0.4591]], [[0.7319, 0.3808, 0.3656, ..., 0.6158, 0.8127, 0.5377], [0.7817, 0.5277, 0.9428, ..., 0.0032, 0.7543, 0.2630], [0.3526, 0.2539, 0.6907, ..., 0.7403, 0.6150, 0.8632], ..., [0.9896, 0.2491, 0.9341, ..., 0.5563, 0.1472, 0.7592], [0.5110, 0.8409, 0.2105, ..., 0.9475, 0.0620, 0.6796], [0.6519, 0.9809, 0.7917, ..., 0.7317, 0.0315, 0.7892]]], [[[0.2208, 0.9637, 0.9443, ..., 0.4771, 0.5033, 0.2917], [0.1701, 0.8320, 0.3640, ..., 0.5074, 0.6219, 0.1707], [0.4048, 0.1494, 0.9358, ..., 0.8532, 0.2298, 0.0691], ..., [0.2787, 0.3809, 0.9087, ..., 0.4491, 0.4912, 0.4132], [0.1516, 0.4484, 0.4718, ..., 0.9796, 0.8061, 0.4744], [0.6960, 0.5026, 0.5266, ..., 0.7811, 0.4093, 0.5238]], [[0.3725, 0.7506, 0.8075, ..., 0.9897, 0.6699, 0.3276], [0.3139, 0.5054, 0.3133, ..., 0.3512, 0.1084, 0.8433], [0.8386, 0.3877, 0.1941, ..., 0.0903, 0.6257, 0.2474], ..., [0.0579, 0.4931, 0.8824, ..., 0.1812, 0.8336, 0.0030], [0.2589, 0.3976, 0.6554, ..., 0.1437, 0.4533, 0.0758], [0.2885, 0.1804, 0.6388, ..., 0.4709, 0.2782, 0.8804]], [[0.4836, 0.3040, 0.6066, ..., 0.6594, 0.3668, 0.4089], [0.4970, 0.8915, 0.5742, ..., 0.5544, 0.2297, 0.8319], [0.8399, 0.8372, 0.8259, ..., 0.8524, 0.0242, 0.1726], ..., [0.1040, 0.3566, 0.1785, ..., 0.4557, 0.4020, 0.7327], [0.0273, 0.0586, 0.4000, ..., 0.8475, 0.2587, 0.6252], [0.1678, 0.0942, 0.1210, ..., 0.1048, 0.4521, 0.5950]]]]) torch.Size([2, 3, 25, 25]) 3750#这里即为2*3*25*25 4 |
Mixed
numerl是指tensor占用内存的数量
number element
2*3*28*28 = 4704
创建Tensor
1）从numpy导入
先创建一个dimension为1，长度为2的向量
从numpy导入的Float其实是Double类型
2）从List导入
torch.tensor()：接受现有的数据
torch.Tensor()：接受数据的维度，也可以接受现有数据（必须用list表示）
torch.FloatTensor(2,3):即生成一个2行3列（shape为（2,3））的tensor
#尽量使用
torch.FloatTensor(d1,d2,d3) 表示shape
或
torch.tensor([2. ,3.2])
少使用torch.FloatTenor([2. ,3.2]) 这种形式，容易引起混淆
Tensor是多维矩阵，矩阵的元素都是同一种数据类型。
tensor需要确切的数据对它进行赋值。
Tensor主要是创建多维矩阵的，标量从某种意义上，不算矩阵。所以Tensor可以通过赋值多维矩阵的方式创建，但是无法指定标量值进行创建。如果想创建单个值，采用[5.6] 这种形式，指定一行一列的矩阵。
同时，Tensor可以指定多维矩阵形状的大小，并且默认的数据类型是FloatTensor。
tensor主要是根据确定的数据值进行创建，无法直接指定形状大小，需要根据数据的大小进行创建。但同时，tensor没有赋值数据值是矩阵的限制，可以直接使用tensor(5.6)
张量(Tensor)
几何代数中定义的张量是基于向量和矩阵的推广，通俗一点来理解，我们可以将标量视为零阶张量，矢量视为一阶张量，那么矩阵就是二阶张量。
张量
在PyTorch中，张量Tensor是最基础的运算单位，与NumPy中的NDArray类似，张量表示的是一个多维矩阵。不同的是，PyTorch中的Tensor可以运行在GPU上，而NumPy的NDArray只能运行在CPU上。由于Tensor能在GPU上运行，因此大大加快了运算速度。
可以通过rand( )函数生成一个简单的张量，例如生成一个2行3列0-1的随机数Tensor。
torch.rand(2, 3)
通过shape属性或使用size( )函数可以查看Tensor的大小。
查看Tensor大小
在同构的意义下，我们设r为张量的秩或阶，那么，第零阶张量(r = 0)为标量，第一阶张量(r = 1)为向量，第二阶张量(r = 2)为矩阵，第三阶以上(r > 2)的统称为多维张量。
Tensor基本数据类型
Tensor的常用基本数据类型主要有以下五种：
1.32位浮点型：torch.FloatTensor。Tensor的默认数据类型。
2.64位浮点型：torch.DoubleTensor。
3.64位整型：torch.LongTensor。
4.32位整型：torch.IntTensor。
5.16位整：torch.ShortTensor。
Tensor初始化
除了使用rand( )函数外，PyTorch中还提供了许多初始化张量的方法，可以类比NumPy中对NDArray的初始化。
randn( )：初始化一个均值为0，方差为1的随机数Tensor。
ones( )：初始化一个全为1的Tensor。
zeros( )：初始化一个全为0的Tensor。
eye( )：初始化一个主对角线为1，其余都为0的Tensor(只能是二阶，即矩阵)。
Tensor和tensor的区别
在PyTorch中，Tensor和tensor都能用于生成新的张量：
首先，我们需要明确一下，torch.Tensor()是python类，更明确地说，是默认张量类型torch.FloatTensor()的别名，torch.Tensor([1,2])会调用Tensor类的构造函数__init__，生成单精度浮点类型的张量。
| >>> a=torch.Tensor([1,2]) >>> a.type() 'torch.FloatTensor' |
而torch.tensor()仅仅是python函数
函数原型是：
| torch.tensor(data, dtype=None, device=None, requires_grad=False) |
其中data可以是：list, tuple, NumPy ndarray, scalar和其他类型。
torch.tensor会从data中的数据部分做拷贝（而不是直接引用），根据原始数据类型生成相应的torch.LongTensor、torch.FloatTensor和torch.DoubleTensor。
| >>> a=torch.tensor([1,2]) >>> a.type() 'torch.LongTensor' |
| >>> a=torch.tensor([1.,2.]) >>> a.type() 'torch.FloatTensor' |
| >>> a=np.zeros(2,dtype=np.float64) >>> a=torch.tensor(a) >>> a.type() 'torch.DoubleTensor' |
empty（）创建任意数据类型的张量，torch.tensor（）只创建torch.FloatTensor类型的张量。
empty（）返回一个包含未初始化数据的张量。使用参数可以指定张量的形状、输出张量、数据类型这意味着你可以创建一个浮点张量，int
如果未指定数据类型，则所选数据类型是默认的torch.Tensor类型
由于torch.Tensor()只能指定数据类型为torch.float，所以torch.Tensor()可以看做torch.empty()的一个特殊情况。
PyTorch的Tensor与NumPy的NDArray转换
Tensor转NDArray
使用PyTorch的numpy( )函数将Tensor转换为NDArray。
NDArray转Tensor
使用PyTorch的from_numpy( )函数将NDArray转换为Tensor。
随机初始化
rand（通过0，1的均值分布）会随机产生0-1之间的数值，不包括1
randint需要指定最大最小值randint（min,max,shape）
正态分布
arange是不包含有边界的，也就是[1.09,...0.1]
想全部赋值为一个数
数据类型默认floatTensor
logspace的base参数可以设置为2,10，e等底数
生成0-10的随机索引，然后可以random.shuffle打乱数据
索引与切片
以dimension=4为例
从最左边开始索引
例：取前两张或后两张图片，连续选取
a[:2]取0,1张图片
不连续选取
当有...出现时，右边的索引需要理解为最右边
Tensor维度变化
api：
View/reshape 转变shape
Squeeze/unsqueeze 删减/增加维度
Transpose/t/permute 维度转置（单次/多次）
Expand/repeat 低维度转高纬度
数据的存储/维度顺序非常重要，需要时刻记住
例如本来[b,c,H,W]即第几张图片，频道（色彩），宽高
原来：[4,1,28,28]
之后恢复为了[4,28,28,1]，这样就造成了数据的损坏
因此恢复数据时，要按照原来维度的顺序
view还原时，和原来的size不一样也会报错，原来是[4,784]
因此[4,783]报错
Squeeze v.s. unsqueeze
(挤压)减少维度/ (展开)增加维度
Expand/repeat（不建议使用）
扩展（不会主动复制数据，推荐）/扩展（增加数据）
（-4为bug，新版本已经修复）
repeat中的参数，即原维度参数重复拷贝几次
.t 转置
.t只能适用于2D的tensor即二维矩阵
Transpose 维度交换（两两交换）
.transpose(1,3)即交换1,3维度
[b,c,H,W] ->[b,W,H,c]
.contiguous先让数据变为连续
恢复数据时需要按照原来数据/维度的顺序，否则会导致数据的污染
view会导致维度顺序关系变模糊，所以需要人为记住维度顺序，并跟踪注意，展开的时候也要按照原来的顺序
permute （任意的交换）
[b,H,W,c]是numpy存储图片的格式，需要这一步才能导出numpy
原本是[b,c,H,W]需要变为[b,H,W,c]
只需要permute(0,2,3,1) ，2代表原来的W，3代表原来的W，1代表原来的c
但也可能会导致内存的打乱
910
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
