pytorch
南风渐起
技术宅改变世界
展开
-
pytorch学习笔记(十六)————卷积神经网络
pytorch学习笔记(十六)————卷积神经网络目录发展背景和基本概念CNN的引入感受野权值共享目录发展背景和基本概念卷积神经网络是目前深度学习技术领域中非常具有代表性的神经网络之一,在图像分析和处理领域取得了众多突破性的进展,在学术界常用的标准图像标注集ImageNet上,基于卷积神经网络取得了很多成就,包括图像特征提取分类、场景识别等。卷积神经网络相较于传统的图像处理算法的优点之一在于...原创 2020-02-21 20:58:48 · 3744 阅读 · 0 评论 -
pytorch学习笔记(十五)————Early Stop,Dropout
pytorch学习笔记(十五)————Early Stop,Dropout,SGD目录Early StopDropoutSGD随机梯度下降目录Early Stop(1)Early Stop的概念Early Stop的概念非常简单,在我们一般训练中,经常由于过拟合导致在训练集上的效果好,而在测试集上的效果非常差。因此我们可以让训练提前停止,在测试集上达到最好的效果时候就停止训练,而不是等到...原创 2020-02-17 18:48:51 · 4187 阅读 · 2 评论 -
pytorch学习笔记(十五)————动量与学习率衰减
pytorch学习笔记(十五)————动量与学习率衰减目录动量目录动量其中zk+1z^{k+1}zk+1代表本次要更新的梯度,α原创 2020-02-17 17:36:08 · 1165 阅读 · 0 评论 -
pytorch学习笔记(十四)————正则化惩罚(减轻overfitting)
pytorch学习笔记(十四)————正则化惩罚(减轻overfitting)目录回顾降低过拟合方法目录回顾在上一篇博客中我们讲到,当训练模型比真实模型复杂度低的情况叫做underfitting(欠拟合),当训练集模型比真实模型复杂度高的情况叫做overfitting(过拟合)。现如今由于网络层数不断地增加,欠拟合的情况已经较为少见,绝大数多情况都是出现过拟合。与过拟合有一个异曲同工的概念...原创 2020-02-16 17:38:23 · 2036 阅读 · 0 评论 -
pytorch学习笔记(十三)————检测过拟合
pytorch学习笔记(十三)————检测过拟合目录回顾检测过拟合划分数据集MNIST实战代码目录回顾检测过拟合1.第一种检测方法:训练集和测试集为了拟合所有数据,减少对所有数据的loss,这样会导致模型比真实数据模型更加复杂,从而导致在测试数据上loss很大。因此我们可以把所有数据划分为两部分:训练集和测试集,当模型在训练集上取得了很好的效果而在测试集上效果不理想,说明发生了过拟合...原创 2020-02-14 19:32:04 · 1508 阅读 · 0 评论 -
pytorch学习笔记(十三)————过拟合&欠拟合
pytorch学习笔记(十三)————过拟合&欠拟合目录理想化情况真实情况模型学习能力欠拟合与过拟合总结目录理想化情况1.场景一:线性模型——房价预测横坐标是房屋面积,纵坐标是房屋价格。可以看出这两者呈现线性关系2.场景二:非线性模型——GPA老师给学生打分时,往往给大部分学生一般的成绩,成绩差或成绩好的则占少数。因此总体上趋近于高斯模型,呈现非线性关系真实情况从以上...原创 2020-02-14 18:44:12 · 243 阅读 · 0 评论 -
pytorch学习笔记(十二)————全连接层
pytorch学习笔记(十二)————全连接层nn.Linear()class torch.nn.Linear(in_features,out_features,bias = True )对传入数据应用线性变换:y = A x+ b参数:in_features - 每个输入样本的大小out_features - 每个输出样本的大小bias - 如果设置为False,则图层不会学习附...原创 2020-02-12 18:45:39 · 8316 阅读 · 0 评论 -
pytorch学习笔记(十一)————多分类问题实战
pytorch学习笔记(十一)————多分类问题实战import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimfrom torchvision import datasets, transformsbatch_size=200 #一次输...原创 2020-02-11 18:36:07 · 483 阅读 · 0 评论 -
pytorch学习笔记(十)————交叉熵
pytorch学习笔记(九)————交叉熵(1)熵的定义熵(Entropy)代表事件所包含的不确定性,也叫作惊喜度。熵越高则代表事件的不确定性越高,具体原因可参考博客:https://blog.csdn.net/am290333566/article/details/81187124举个例子:1.假如有四个事件,发生的概率都是0.25,也就是说这四个事件发生的概率一样,很难在一开始就预...原创 2020-02-11 17:28:09 · 440 阅读 · 0 评论 -
pytorch学习笔记(九)————logistic regression逻辑回归
pytorch学习笔记(九)————logistic regression逻辑回归目录回顾--线性回归与逻辑回归二分类分类与回归问题的目标和实现方法对比Q1:分类问题为什么不最大化accuracy?Q2:为什么叫做逻辑回归二分类的具体做法多分类的具体做法目录回顾–线性回归与逻辑回归在之前的课程中我们学过了linear regression(线性回归),y=xw+b是一个线性函数且输出是一个...原创 2020-02-10 18:48:06 · 715 阅读 · 0 评论 -
pytorch学习笔记(八)——2D函数优化实例
pytorch学习笔记(八)——2D函数优化实例为了演示优化神经网络参数得到loss极小值的过程,和不同初始值可能产生不同的极值点,在此引入了如下图所示函数:从图中可以看出该函数2D图像呈碗状,有四个极小值点,它的极值点有:接下来我们通过求解该函数极小值,来测试我们设计的优化器效果如何。画图代码:def himmelblau(x): return (x[0] ** 2 + x[...原创 2020-02-09 17:56:45 · 264 阅读 · 0 评论 -
pytorch学习笔记(七)——loss及其梯度
pytorch学习笔记(七)——loss及其梯度目录典型lossMSE目录典型loss典型的loss有两种,第一种是均方差简称MSE。第二种是用于分类的误差交叉熵,既可以用于二分类问题,也可以用于多分类问题。一般最后的输出要通过softmax函数,第二种loss我们放在之后的博客中讲解。MSE(1)MSE定义为方便,我们下面讲解MSE不再除以数据个数(2)MSE求导(3)p...原创 2020-02-07 17:09:41 · 3807 阅读 · 0 评论 -
pytorch学习笔记(七)——激活函数
pytorch学习笔记(七)——激活函数目录激活函数的由来sigmoid激活函数tanh激活函数ReLU激活函数目录激活函数的由来1959年,生物科学家研究青蛙神经元的时候发现,青蛙的神经元有多个输入,神经元中间有一个多输入加权后的相应,当该响应小于阈值时没有输出,当该响应大于阈值是会有一个固定的输出。当时的计算机科学家借鉴于此发明了一个计算机模型,如下图:假设z为输入经过加权后的值,z...原创 2020-02-06 17:35:09 · 872 阅读 · 0 评论 -
pytorch学习笔记(六)——pytorch进阶教程之tensor高阶操作
pytorch学习笔记(六)——pytorch进阶教程之高阶操作目录wheregather目录where新生成的tensor取决与输入x,y和条件condition。condition是一个矩阵,如果元素是1对应x,元素是0对应y。示例代码:cond>0.5返回的是一个[2,2]size的矩阵,大于0.5对应元素为1,否则为0。只有最右下角元素不成立返回0,所以where函数...原创 2020-02-05 18:59:59 · 586 阅读 · 0 评论 -
pytorch学习笔记(六)——pytorch进阶教程之属性统计
pytorch学习笔记(六)——pytorch进阶教程之属性统计目录求范数----norm统计属性目录求范数----norm范数(norm)是数学中的一种基本概念。在泛函分析中,它定义在赋范线性空间中,并满足一定的条件,即①非负性;②齐次性;③三角不等式。它常常被用来度量某个向量空间(或矩阵)中的每个向量的长度或大小。范数又分为向量范数和矩阵范数,区别如图所示In [1]: impor...转载 2020-02-05 17:52:55 · 379 阅读 · 0 评论 -
pytorch学习笔记(六)——pytorch进阶教程之合并与分割
pytorch学习笔记(六)——pytorch进阶教程之合并与分割目录cat![在这里插入图片描述](https://img-blog.csdnimg.cn/2020020318200965.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3...原创 2020-02-04 17:55:07 · 521 阅读 · 0 评论 -
pytorch学习笔记(六)——pytorch进阶教程之broadcast自动扩展
pytorch学习笔记(六)——pytorch进阶教程之broadcast自动扩展目录broadcast的两个特点主要思想原理示例存在意义目录broadcast的两个特点broadcast的两个特点:1.能够进行维度的扩展,相当于expand,但是是自动扩展2.扩展的时候不需要拷贝数据注意broadcast并不是函数,而是在不同size的tensor之间进行加减操作会自动进行的一种机制...原创 2020-02-03 18:13:59 · 1584 阅读 · 2 评论 -
pytorch学习笔记(五)——pytorch基础之维度变换
pytorch学习笔记(五)——pytorch基础之维度变换目录维度重塑----view/reshape增删维度----squeeze/unsqueeze维度扩展----Expand/repeat维度转置----transpose/t/permute目录维度重塑----view/reshapeview与reshape用法基本一致,view是pytorch0.3版本的api,在pytorch0...原创 2020-02-02 18:38:15 · 572 阅读 · 0 评论 -
pytorch学习笔记(五)——pytorch基础之索引与切片
pytorch学习笔记(五)——pytorch基础之索引与切片目录索引切片步长具体的索引...使用mask索引使用打平后的序列目录索引a = torch.rand(4,3,28,28)#随机生成一个四维度的tensor 存储图片信息#分别对应batchsize channel height widtha[0].shape # 取第一维度,下标为0,理解上相当于取第一张图片t...转载 2020-02-02 16:30:39 · 668 阅读 · 0 评论 -
pytorch学习笔记(五)——pytorch基础之创建Tensor
pytorch学习笔记(五)——pytorch基础之创建Tensor目录通过numpy数据转换通过list数据转换生成未初始化数据未初始化tensor会出现的一些问题设置默认tensor初始化tensor使用rand随机初始化使用正态randn初始化使用full生成数据一样的tensor使用arange/range使用linspace/logspace使用Ones/zeros/eye![在这里插入...原创 2020-01-31 16:57:52 · 666 阅读 · 0 评论 -
pytorch学习笔记(五)——pytorch基础之基本数据类型
pytorch学习笔记(五)——pytorch基础之基本数据类型目录类型检查不同维度tensor创建维度为0的标量维度为1的tensor(张量)如何区别shape,size,dimension ,tensor?维度为2的tensor维度为3的tensor维度为4的tensor补充知识目录类型检查torch.randn(2,3)创建一个两行三列dimension(维度)为2的tensor类型,...原创 2020-01-30 19:00:39 · 857 阅读 · 0 评论 -
pytorch学习笔记(四)——MNIST数据集实战
pytorch入门之MINIST数据集实战目录神经网络运作流程回顾识别的四个步骤实现代码目录神经网络运作流程上图所示是一个简单的二层神经网络结构,猫和狗的图片作为输入,依次是输入层,隐层,输出层。每张图片作为输入经过模型得到输出判别是猫还是狗,将输入与真实值之间求误差,再对误差求梯度优化参数w和b,使最后得到的误差尽可能小。回顾上一个博客中我们讲到,我们将输入X经过一个线性模型得再通...原创 2020-01-30 16:53:45 · 805 阅读 · 0 评论 -
pytorch中tensor的类型转换
pytorch中tensor的类型转换(1)数据类型转换在Tensor后加 .long(), .int(), .float(), .double()等即可,也可以用.to()函数进行转换,所有的Tensor类型可参考https://pytorch.org/docs/stable/tensors.html(2)数据存储位置转换CPU张量 ----> GPU张量,使用data.cuda...转载 2020-01-30 16:48:23 · 1993 阅读 · 0 评论 -
pytorch学习笔记(三)——MNIST手写数据集
pytorch入门之简单回归问题目录基础知识准备功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入目录基础知识准备我...原创 2020-01-29 16:32:39 · 1011 阅读 · 2 评论