Pytorch
文章平均质量分 74
我和代码有个约会.
好好学习!
展开
-
Pytorch Kaggle实战:House Prices - Advanced Regression Techniques
通过Kaggle比赛,将所学知识付诸实践。原创 2023-01-14 13:47:33 · 484 阅读 · 0 评论 -
Pytorch 环境和分布偏移与错误使用机器学习例子
假设我们训练了一个贷款申请人违约风险模型,用来预测谁将偿还贷款或违约。这个模型发现申请人的鞋子与违约风险相关(穿牛津鞋申请人会偿还,穿运动鞋申请人会违约)。此后,这个模型可能倾向于向所有穿着牛津鞋的申请人发放贷款,并拒绝所有穿着运动鞋的申请人。这种情况可能会带来灾难性的后果。首先,一旦模型开始根据鞋类做出决定,顾客就会理解并改变他们的行为。不久,所有的申请者都会穿牛津鞋,而信用度却没有相应的提高。总而言之,机器学习的许多应用中都存在类似的问题:。原创 2023-01-12 10:17:33 · 535 阅读 · 0 评论 -
Pytorch 数值稳定性和模型初始化
有人会认为初始化方案是理所当然的,忽略了如何做出这些选择的细节。甚至有人可能会觉得,初始化方案的选择并不是特别重要。相反,初始化方案的选择在神经网络学习中起着举足轻重的作用, 它对保持数值稳定性至关重要。此外,这些初始化方案的选择可以与非线性激活函数的选择有趣的结合在一起。我们选择哪个函数以及如何初始化参数可以决定优化算法收敛的速度有多快。糟糕选择可能会导致我们在训练时遇到梯度爆炸或梯度消失。原创 2023-01-11 14:47:27 · 542 阅读 · 0 评论 -
Pytorch 前向传播、反向传播、计算图
在计算梯度时,我们只调用了深度学习框架提供的反向传播函数,而不知其所以然。梯度的自动计算(自动微分)大大简化了深度学习算法的实现。在自动微分之前,即使是对复杂模型的微小调整也需要手工重新计算复杂的导数, 学术论文也不得不分配大量页面来推导更新规则。原创 2023-01-11 11:06:11 · 1349 阅读 · 0 评论 -
Pytorch 暂退法(Dropout)
在2014年,斯里瓦斯塔瓦等人 () 就如何将毕晓普的想法应用于网络的内部层提出了一个想法: 在训练过程中,他们建议在计算后续层之前向网络的每一层注入噪声。因为当训练一个有多层的深层网络时,注入噪声只会在输入-输出映射上增强平滑性。这个想法被称为暂退法(dropout)。原创 2023-01-10 10:36:33 · 931 阅读 · 0 评论 -
Pytorch 权重衰减
使用L2范数的一个原因是它对权重向量的大分量施加了巨大的惩罚。但这可能成本很高,耗时颇多,或者完全超出我们的控制,因而在短期内不可能做到。(ridge regression)算法, L1正则化线性回归是统计学中类似的基本模型, 通常被称为。为了使过拟合效果更加明显,将问题的维数增加到d=200,并只使用包含20个小样本的训练集训练。使用权重衰减,即设置lambd=3,训练误差增大了,但测试误差减小,正则化起到效果。(weight decay)是最广泛使用的正则化的技术之一, 它通常也被称为L2。原创 2023-01-09 12:21:13 · 1047 阅读 · 0 评论 -
Pytorch 多项式拟合
特别是在深度学习领域,最好的预测模型在训练数据上的表现往往比在验证数据上好得多。一般来说泛化误差无法进行准确计算,实际上我们只能通过将模型应用于一个独立测试集来估计泛化误差,该测试集由随机选取的、未曾在训练集中出现的数据样本构成。,这意味着对数据采样过程中没有进行记忆,也就是说,抽取第2个样本和第3个样本的相关性,并不比抽取第2个样本和第200万个样本的相关性强。(generalization error)是指, 模型应用在同样从原始样本的分布中抽取的无限多数据样本时,模型误差的期望。原创 2023-01-08 15:37:15 · 679 阅读 · 0 评论 -
Pytorch 多层感知机
torch.nn.Parameter()将一个不可训练的tensor转换成可以训练的类型parameter,并将这个parameter绑定到这个module里面。忽略像素之间的空间结构, 我们可以将每个图像视为具有784个输入特征 和10个类的简单分类数据集。首先,我们将实现一个具有单隐藏层的多层感知机, 它包含256个隐藏单元。这里面使用Sequential搭建了网络架构,其中先将图片进行展平(nn.Flatten)然后传入线形层,在经过relu激活函数,最后使用Linear进行输出。原创 2023-01-07 21:57:14 · 738 阅读 · 0 评论 -
Pytorch SoftMax回归
《动手学深度学习》学习笔记 Softmax原创 2023-01-04 23:10:14 · 1118 阅读 · 0 评论 -
Pytorch 数据预处理
《动手学深度学习》学习笔记,数据预处理原创 2023-01-03 16:57:39 · 314 阅读 · 0 评论 -
Pytorch 数据操作
《动手学深度学习》学习笔记-2.1数据操作原创 2023-01-02 18:53:52 · 267 阅读 · 0 评论 -
Pytorch--Tensor的维度变换
目录Pytorch--Tensor的维度变换1、View/reshape2、Squeeze/unsqueeze3、Expand / repeat4、其他方法4.1、.t()4.2、Transpose()4.3、permute()Pytorch--Tensor的维度变换1、View/reshapeview在变换过程中size相乘必须一样才可以变换view操作会丢失dim信息2、Squeeze/unsqueezeunsqueeze.原创 2021-08-18 16:28:25 · 661 阅读 · 0 评论 -
Pytorch--Tensor的索引与切片
Pytorch--Tensor的索引与切片1、直接用索引的方式2、:号的方式3、index_select4、...5、 .masked_select()1、直接用索引的方式相当于创建一个CNN的Tensora[0].shape直接指向对应维度的第几个2、:号的方式三种情况start:#指从start包括start到最后:end #指从开始到end不包括endstart:end#指从start到end,包括start不包括end特殊情况start:end:step #分别代表开原创 2021-08-17 21:56:33 · 283 阅读 · 0 评论 -
Pytorch--创建Tensor
目录1、Import from numpy2、Import from List3、uninitialized4、set default type5、rand/rand_like, randint6、randn7、normal8、full9、arange/range10、linspace/logspace11、Ones/zeros/eye1、Import from numpytorch.from_numpy()# 转化维Tensornp.ones([2,3])#创建2行3列的数组2、Import原创 2021-08-16 21:28:08 · 2177 阅读 · 0 评论 -
Pytorch--基本数据类型
Pytorch--基本数据类型1、Python与Pytorch数据类型对比2、数据类型2.1、常用的类型2.2、判断类型的几种方法3、Tensor的维度3.1、0维3.2、1维3.3、2维3.4、3维3.5、4维3.6、高维1、Python与Pytorch数据类型对比PythonPytorchIntIntTensor of size()floatFloatTensor of size()Int arrayIntTensor of size [d1, d2 ,…]原创 2021-08-16 12:51:29 · 179 阅读 · 0 评论 -
Pytorch--手写数字识别
Pytorch--手写数字识别实现步骤1、加载数据集2、创建网路3、模型训练4、测试全局代码实现步骤1、加载图片(7万张)2、建立模型(三层非线性层)3、训练4、测试可视化图片、曲线的代码###绘制曲线def plot_curve(data): fig = plt.figure() plt.plot(range(len(data)), data, color='blue') plt.legend(['value'], loc='upper right') pl原创 2021-08-15 21:46:25 · 288 阅读 · 0 评论 -
Pytorch--简单线性回归
梯度下降在求解损失函数的最小值时,可以通过梯度下降法来一步步的迭代求解,得到最小化的损失函数和模型参数值。???????????????? = ????2 ∗ sin(????)线性方程???? = ???? ∗ ???? + ????例如1.567 = w * 1 + b3.043 = w * 2 + b我们可以解的W = 1.477,B = 0.089但是在现实生活中存在一定的噪声,所以我们任需要引入一个噪声来模拟???? = ???? ∗ ???? + ???? + ????原创 2021-08-14 20:46:33 · 173 阅读 · 0 评论