2020年07月_龙雪zzZ

11月 10月 09月 08月 07月 04月 03月 02月 01月

原创 Pytorch：正向传播推理（predict）出的outputs的值的每一个元素数为什么是两个或多个

两个或多个其实指的就是类别数，如果是一个二分类问题，就是两个。红框和蓝框分别代表了每个类别的推理值，（此时可能通过了激活函数或者未通过），反正最后就是将通过激活函数后的值进行比较大小，大者为识别的类别，即predict对应的label...

2020-07-25 16:57:10 1499

原创 Pytorch：计算图像数据集的均值和标准差

在使用torchvision.transforms进行数据处理时我们经常进行的操作是：transforms.Normalize((0.485,0.456,0.406), (0.229,0.224,0.225))前面的(0.485,0.456,0.406)表示均值，分别对应的是RGB三个通道；后面的(0.229,0.224,0.225)则表示的是标准差这上面的均值和标准差的值是ImageNet数据集计算出来的，所以很多人都使用它们但是如果你想要计算自己的数据集的均值和标准差，让其作为..

2020-07-25 14:36:13 3465

原创 Python：根据文件名中的关键字，将文件名中含某一关键字的文件复制或移动到另一个目录

代码】Python：根据文件名中的关键字，将文件名中含某一关键字的文件复制或移动到另一个目录。

2020-07-25 13:25:13 5896 6

原创 Pytorch：反transform操作，实现从tensor转成PIL image

该代码为transforms的反函数，实现从tensor转成PIL image，用于在框架的enumerate迭代中的中间图片可视化。代码思想如下，可以根据具体情况和需要进行修改def transform_invert(img_, transform_train): """ 将data 进行反transfrom操作 :param img_: tensor :param transform_train: torchvision.transforms :retu

2020-07-23 17:06:05 1953

原创 Pytorch：transforms二十二种数据预处理方法及自定义transforms方法

transforms.normalize功能：逐channel地对图像进行标准化公式：output=(input - mean) / stdmean：各通道的均值std：各通道的标准差inplace：是否执行原地操作，默认False

2020-07-23 12:08:52 3503

原创 Pytorch：transforms

transforms上篇博文《Pytorch：Dataloader和Dataset以及搭建数据部分的步骤》提到transforms是pytorch数据模块的预处理部分。transforms来自torchvision，torchvision是pytorch的计算机视觉工具包。torchvision有以下几个主要的模块：torchvision.transforms：常用的图像预处理方法torchvision.datasets：常用数据集的datasets实现，MNIST，CIFAR-10，Image

2020-07-23 12:02:58 716

原创 Pytorch：Dataloader和Dataset以及搭建数据部分的步骤

接下来几篇博文开始，介绍pytorch五大模块中的数据模块，所有概念都会以第四代人民币1元和100元纸币的二分类问题为例来具体介绍，在实例中明白相关知识。数据模块的结构体系数据模块分为数据的收集、划分、读取、预处理四部分，其中收集和划分是人工可以设定，而读取部分和预处理部分，pytorch有相应的函数和运行机制来实现。读取部分中pytorch靠dataloader这个数据读取机制来读取数据。DataloaderDataloader涉及两个部分，一是sampler部分，用于生成数据的索引（

2020-07-21 00:03:21 1687 3

原创 Python：filter函数，lambda函数及一起使用

filter函数filter(self, /, *args, **kwargs) # 过滤filter() 函数用于过滤序列，过滤掉不符合条件的元素，返回由符合条件元素组成的新列表。该接收两个参数，第一个为函数，第二个为序列，序列的每个元素作为参数传递给函数进行判，然后返回 True 或 False，最后将返回 True 的元素放到新列表中。例如：实例def is_odd(n): return n % 2 == 1newlist = filter(is_od.

2020-07-19 19:30:27 1096 1

原创 Pytorch：通过pytorch实现逻辑回归

逻辑回归logistic regression逻辑回归是线性的二分类模型（与线性回归的区别：线性回归是回归问题，而逻辑回归是线性回归+激活函数sigmoid=分类问题）模型表达式：f(x)称为sigmoid函数，也称为logistic函数，能将所有值映射到[0,1]区间，恰好符合概率分布，如下图所示[0,1]区间形成二分类，一般以中点值（0.5）做界标，即为什么说逻辑回归是线性的，是因为线性回归的wx+b与0的大小关系正好对应f(wx+b)中与0.5的大小关系，.

2020-07-16 23:11:12 5243 1

原创 Pytorch：机器学习深度学习整个模型训练的总体步骤思路

下面给出模型训练步骤的思路，在用pytorch（也包括其他框架）编写代码进行网络编写时，建议都按照这几个步骤来进行，形成一个清晰的思路各模块简要说明数据：涉及数据的采集、清洗、划分及预处理等模型：根据任务的复杂程度选择简单的线性模型或复杂的神经网络模型等损失函数：根据任务的不同选择不同的损失函数，比如线性回归模型采用均方差函数，分类任务采用交叉熵函数等优化器：根据损失函数求得的梯度来更新模型参数迭代训练：确立好前四大模块后，进行反复的迭代训练...

2020-07-16 23:03:05 5317

原创 Pytorch：autograd 自动求导

神经网络离不开大量的梯度求导，若是交给人为计算，这将是十分耗时的一件事情。在pytorch中，autograd自动求导系统能有效解决这一问题。torch.autogradtorch.autograd.backward()（标量或向量的backward()方法实则也是调用了autograd.backward()方法）功能：自动求取梯度tensors：用于求导的张量，如lossretain_graph：保存计算图（pytorch采用的是动态图机制，所以在一次反向传播结束时会释放掉计算图的

2020-07-16 14:23:12 3726

原创 PyTorch中梯度为什么默认自动累加，在反向传播前要手动将梯度清零？

低显存跑大batchsize的角度这种模式可以让梯度玩出更多花样，比如说梯度累加（gradient accumulation）传统的训练函数，一个batch是这么训练的：for i,(images,target) in enumerate(train_loader): # 1. input output images = images.cuda(non_blocking=True) target = torch.from_numpy(np.array(target)).

2020-07-16 13:53:03 5756

原创 Pytorch：计算图与动态图机制

计算图computational graph表示方法计算图是用来描述运算的有向无环图计算图有两个主要元素：结点（node）和边（edge）结点表示数据，如向量，矩阵，张量边表示运算，如加减乘除卷积等计算图不仅使计算显得简洁，更重要的是其表示梯度求导更为方便用计算图表示y=(x+w)*(w+1)：令 a=x+w b=w+1 则y=a*b梯度求导结合题例的算式和计算图表示从上述的计算图表示中，可以看到，除...

2020-07-16 00:00:04 3822

原创 Pytorch：通过pytorch实现线性回归

线性回归Linear Regression线性回归是分析一个变量与另外一个（多个）变量之间关系的方法因变量：y 自变量：x 关系：线性 y=wx+b 分析：求解w，b求解步骤：1. 确定模型2. 选择损失函数3.求解梯度并更新w，b此题：1. model：y=wx+b2. MSE:3. w = w - LR*w.grad b = b - LR*w.grad下为代码实现import torchim...

2020-07-15 17:52:01 3690

原创 PyTorch：函数加下划线代表的意思

PyTorch中，一般函数加下划线代表直接在原来的 Tensor 上修改

2020-07-15 15:55:37 4408

原创消融实验(ablation study)是什么？

说白了就是设立对照组/控制变量法的意思，通过去除/增加某个模块的作用，来证明该模块的必要性，如果消融实验后得到性能结果大幅变化，说明该模块起到了作用。

2020-07-15 11:50:10 40483 11

原创 Pytorch：Tensor 张量操作

张量操作一、张量的拼接与切分1.1 torch.cat()功能：将张量按维度dim进行拼接tensors：张量序列dim：要拼接的维度1.2 torch.stack()功能：在新创建的维度的上进行拼接tensors：张量序列dim：要拼接的维度（如果dim为新的维数，则新增一个维度） ...

2020-07-14 23:37:48 4721

原创 Pytorch：Tensor 张量的概念及张量的各种创建

Tensor 概念张量的数学概念：张量是一个多维数组，它是标量、向量、矩阵的高位扩展张量在pytorch中的概念：tensor之前是和pytorch早期版本中的variable一起使用的。variable是torch.autograd的数据类型，主要用于封装tensor，进行自动求导data：被包装的Tensorgrad：data的梯度grad_fn：创建Tensor的function，是自动求导的关键requires_grad：指示是否需要梯度is_leaf：指

2020-07-13 23:20:41 4283 1

原创多核学习、多视图学习、多任务学习和集成学习的区别和联系

多核学习既可以用在多任务学习，也可以用在多视图学习，也有研究同时对多任务和多视图同时采用多核的，目前已经有通用多任务多核学习方法。如果将多核用在多任务学习，相当于不同任务共享子空间的同时，还有各自特有的一个空间，这个特有空间通过采用不同的核来表示。多任务中采用多核，由此强调任务个性。如果将多核用在多视图学习，不同视图的数据采用不同的核，相当于多源数据融合的一种方法，这些也早有研究。而无论是多任务，多视图还是多核，都是希望充分利用不同来源的数据，去提高模型的整体效果，知识在不同任务和视图之间互通...

2020-07-12 21:51:44 1448 1

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

龙雪的博客