涂作权的博客

转载 机器学习训练中常见的问题和挑战：训练数据的数量不足、训练数据不具代表性、低质量数据、无关特征、过拟合训练数据、欠拟合训练数据

1.50.机器学习训练中常见的问题和挑战转载博文：https://blog.csdn.net/Datawhale/article/details/109006583Datawhale干货作者：奥雷利安·杰龙由于我们的主要任务是选择一种学习算法，并对某些数据进行训练，所以最可能出现的两个问题不外乎是“坏算法”和“坏数据”，本文主要从坏数据出发，带大家了解目前机器学习面临的常见问题和挑战，从而更好地学习机器学习理论。1.50.1.训练数据的数量不足要教一个牙牙学语的小朋友什么是苹果，你只需要指着苹

转载 pytorch 时间序列预测，梯度裁剪

1.49.PyTorch时间序列预测1.49.1.问题描述已知 [k, k+n)时刻的正弦函数，预测 [k+t, k+n+t)时刻的正弦曲线。因为每个时刻曲线上的点是一个值，即feature_len=1如果给出50个时刻的点，即seq_len=50如果只提供一条曲线供输入，即batch=1输入的shape=[seq_len, batch, feature_len] = [50, 1, 1]。代码实现# -*- coding: UTF-8 -*-import torchimpo

原创 RNN Layer使用(学习笔记)

1.48.RNN Layer使用

转载 Pytorch实现基本循环神经网络RNN (3)

1.47.Pytorch实现基本循环神经网络RNN (3)Recurrent Neural networks(Rumelhart, 1986)主要用来处理序列型数据，具有对以往数据的记忆功能。下图所示，输入为input和一个状态Hidden0, 输出为output和hidden1.一般地，对输入到RNN进行处理的第t个数据，也就是第t时刻，输出的隐藏状态可以表示为：在RNN对序列数据进行处理时，采用参数共享机制，即权重是相同的。RNN有很多变体，上述的是最简单的一种形式，中间也可以输入y(t)。标

转载 循环神经网络RNN

1.46.循环神经网络RNNRNN是Recurrent Neural Networks的缩写，即循环神经网络，它常用于解决序列问题。RNN有记忆功能，除了当前输入，还把上下文环境作为预测的依据。它常用于语音识别、翻译等场景之中。RNN是序列模型的基础，尽管能够直接调用现成的RNN算法，但后续的复杂网络很多构建在RNN网络的基础之上，如Attention方法需要使用RNN的隐藏层数据。RNN的原理并不复杂，但由于其中包括循环，很难用语言或者画图来描述，最好的方法是自己手动编写一个RNN网络。本篇将介绍RN

原创 47_pytorch循环神经网络（学习笔记）

转载 循环神经网络（RNN）

对于人类而言，以前见过的事物会在脑海中留下记忆，虽然随后记忆会慢慢消失，但是每当经过提醒，人们往往可以重拾记忆。在神经网络中也是一样，之前介绍的CNN模型都是与时间序列无关的模型，它有明显的局限性，就是只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。所以接下来要介绍一种在序列问题和自然语言处理等领域取得很大成功的模型——循环神经网络。一. 循环神经网络（RNN）具体来讲，卷积神经网络相当于人类的视觉，但

原创 Cifar10与ResNet18实战、lenet5、resnet（学习笔记）

1.44.Cifar10与ResNet18实战Pytorch工程中建立pytorch，在pytorch里面创建lenet5.py、main.py、resnet.py。1.44.1.lenet5.py# -*- coding: UTF-8 -*-import torchfrom torch import nnclass Lenet5(nn.Module): """ for cifar10 dataset. """ def __init__(self):

原创 44_pytorch数据增强,Resize,Flip,Rotate,Random Move & Crop,Scale,Crop Part,Noise

1.42.数据增强（学习笔记）案例健壮的模型需要大量的数据，但实际操作中可能并没有足够多的数据，于是便有了数据增强技术，比如对一类图片从不同角度拍摄，在不同光线亮度下拍摄等，增加该类图像的多样性。[1]Flip: 翻转[2]Rotation: 旋转[3]Scale: 放缩，Resize函数[4]Crop: 裁剪[5]在原有数据中加入noise代码示例：# -*- coding: UTF-8 -*-import torchimport torchvisio

原创 43_pytorch nn.Module,模型的创建,构建子模块,API介绍,Sequential(序号),ModuleList,ParameterList,案例等（学习笔记）

1.40.PyTorch nn.Module1.40.1.模型的创建1.40.2.构建子模块1.40.3.nn.Module API介绍1.40.3.1.核心功能1.40.3.2.查看模块1.40.3.3.类型转换1.40.3.4.设置功能1.40.3.5.注册功能1.40.3.6.Sequential(序号)1.40.3.7.ModuleList模型列表1.40.3.8.ParameterList参数列表1.40.4.nn.Module 其它API介绍1.40.5.nn.Modu

原创 42_ResNet (深度残差网络)---学习笔记

1.39.ResNet (深度残差网络)Why call Residual# -*- coding: UTF-8 -*-import torch.nn as nnimport torch.nn.functional as Fclass ResBlk(nn.Module): def __init__(self, ch_in, ch_out): self.conv1 = nn.Conv2d(ch_in, ch_out, kernel_size=3, stri

原创 41_经典卷积网络、LeNet、AlexNet、VGG、GoogleNet、ResNet、NIN、DenseNet、EfficientNet、MobileNetV1/2/3、SENet等

1.38.经典卷积网络1.38.1.LeNet1.38.1.1.介绍1.38.1.2.网络结构1.38.1.3.代码实现1.38.2.AlexNet1.38.2.1.介绍1.38.2.2.网络结构1.38.2.3.代码实现1.38.3.VGG1.38.3.1.介绍1.38.3.2.网络结构 VGG-161.38.3.3.代码实现1.38.4.GoogleNet1.38.4.1.介绍1.38.4.2.网络结构1.38.4.3.代码实现1.38.5.ResNet1.38.5.

原创 40_pytorch Batch Norm

1.37.Batch Normalization,批规范化1.37.1.Batch Norm介绍1.37.2.Intuitive explanation1.37.3.Intuitive explanation1.37.4.Feature scaling1.37.5.BatchNorm1d、BatchNorm2d、BatchNorm3d1.37.5.1.nn.BatchNorm1d(num_features)1.37.5.2.nn.BatchNorm2d(num_features)1.37.5

转载 理解CNN参数及PyTorch实例,卷积核kernel,层数Channels,步长Stride,填充Padding,池化Pooling,PyTorch中的相关方法,MNIST例子

1.34.理解CNN参数及PyTorch实例1.34.1.卷积核kernel1.34.2.层数Channels1.34.3.步长Stride1.34.4.填充Padding1.34.5.池化Pooling1.34.6.PyTorch中的相关方法1.34.7.MNIST例子1.34.理解CNN参数及PyTorch实例参考地址：http://guileen.github.io/2019/12/24/understanding-cnn/在实际的项目中，会发现CNN有多个参数需要调整，本文主要目

原创 39_上下采样、MaxPool2d、AvgPool2d、ReLU案例、二维最大池化层和平均池化层、填充和步幅、多通道

1.34.PyTorch Down/up sample (pytorch上下采样)1.34.1. 首先介绍下采样1.34.1.1. MaxPool2d案例1.34.1.2. AvgPool2d案例1.34.2. F.interpolate案例（上采样）1.34.3.ReLU案例1.34.PyTorch Down/up sample (pytorch上下采样)参考地址：https://cloud.tencent.com/developer/article/1542468pooling(池化)层

转载 卷积神经网络、比较MLPS和CNNS、滤波器、CNN各层的作用、在Pytorch可视化CNN

1.33.卷积神经网络1.33.1.卷积 和 神经网络1.33.1.1.比较MLPS和CNNS1.33.1.2.计算机如何看图像？1.33.1.3.建立自己的滤波器1.33.2.完整的卷积神经网络（CNNS）1.33.2.1.CNN各层的作用1.33.2.2.在Pytorch可视化CNN1.33.卷积神经网络参考文章：https://blog.csdn.net/kstheme/article/details/99689564https://blog.csdn.net/zsd0819qw

原创 35_pytorch 过拟合解决办法 (Early Stop, Dropout)

1.32.Early Stop, Dropout1.32.1.Early StoppingEarly Stop的概念非常简单，在我们一般训练中，经常由于过拟合导致在训练集上的效果好，而在测试集上的效果非常差。因此我们可以让训练提前停止，在测试集上达到最好的效果时候就停止训练，而不是等到在训练集上饱和再停止，这个操作叫做Early Stop随着横坐标epoch的进行，train部分的accuracy持续上升，train部分的accuracy增加到临时点后会开始发生over fitting现象，我们一般

原创 34_pytorch,动量与lr衰减（momentum,learning rate）--学习笔记

1.31.动量与学习率衰减1.31.1.动量1.31.2.学习率衰减1.31.动量与学习率衰减1.31.1.动量（1）没有引入动量（2）引入动量后从图中可以看到，引入动量后loss函数更新的幅度减小，同时找到了全局最优解（3）两种情况对比（4）引入动量代码1.31.2.学习率衰减（1）三种情况下学习率对训练的影响学习率过小，会使得收敛太慢，但是却可以收敛到极小值点学习率过大，会使得目标函数甚至越来越大，或者始终在极小值点旁边徘徊，无法收敛到极小值点。但是前面收敛很快

转载 深度学习过拟合解决方案

本文转自：https://blog.csdn.net/zhang2010hao/article/details/893393271.29.深度学习过拟合解决方案1.29.1.解决方案对于深度学习网络的过拟合，一般的解决方案有：Early stop在模型训练过程中，提前终止。这里可以根据具体指标设置early stop的条件，比如可以是loss的大小，或者acc/f1等值的epoch之间的大小对比。More data更多的数据集。增加样本也是一种解决方案，根据不同场景和数据不同的数据增强方法

原创 31,32,33_过拟合、欠拟合的概念、L2正则化，Pytorch过拟合&欠拟合，交叉验证-Train-Val-Test划分，划分训练集和测试集，K-fold,Regularization

1.26.Pytorch过拟合&欠拟合1.26.1.理想化情况1.26.1.1.场景一：线性模型—房价预测1.26.1.2.场景二：非线性模型—GPA1.26.2.真实情况1.26.3.模型学习能力1.26.4.欠拟合与过拟合1.26.Pytorch过拟合&欠拟合以下参考：https://blog.csdn.net/weixin_43886278/article/details/1043163211.26.1.理想化情况1.26.1.1.场景一：线性模型—房价预测横坐

原创 30_visdom可视化、TensorboardX及其案例、安装visdom、使用visdom的案例

1.25.visdom可视化1.25.1.TensorboardXPytorch也能用的tensorboard，此外Pytorch还有visdom可视化。首先上项目地址：https://github.com/lanpa/tensorboardX1.25.2.安装(base) C:\Users\toto>pip install tensorboardXCollecting tensorboardX Downloading tensorboardX-2.1-py2.py3-none-any

原创 28，29_激活函数与GPU加速、Tanh和sigmoid、ReLU、Leaky ReLU、SELU、Softplus、GPU accelerated、案例、argmax

1.24.激活函数与GPU加速关于激活函数的图形（Tanh和sigmoid的图形形状如下）：ReLU的形状如下：Leaky ReLU的激活函数如下：SELU的图形如下：Softplus的形状如下：GPU accelerateddevice = torch.device('cuda:0')net = MLP().to(device)optimizer = optim.SGD(net.parameters(), lr=learning_rate)criteon = nn.Cross

原创 27_pytorch全连接层，使用MNIST的分类案例（学习笔记）

# -*- coding: UTF-8 -*-import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimfrom torchvision import datasets, transformsbatch_size=200learning_rate=0.01epochs=10# torchvision.transforms.Compose()类。这个类的主要作用是

转载 22个激活函数，ReLU、RReLU、LeakyReLU、PReLU、Sofplus、ELU、CELU、SELU、GELU、ReLU6、Sigmoid、Tanh、Softsign、Hardtanh等

转自：https://www.pianshen.com/article/33331174884/1.22.Linear常用激活函数1.22.1.ReLU torch.nn.ReLU()1.22.2.RReLU torch.nn.RReLU()1.22.3.LeakyReLU torch.nn.LeakyReLU()1.22.4.PReLU torch.nn.PReLU()1.22.5.Sofplus torch.nn.Softplus()1.22.6.ELU torch.nn.EL

原创 26_Pytorch多分类，Softmax多分类实战，利用神经网络进行分类

此文为学习博文整理出11.21.Pytorch多分类问题1.21.1.PyTorch:Softmax多分类实战1.21.1.1.MNIST数据集1.21.1.2.Softmax分类1.21.1.3.PyTorch实战1.21.2.利用神经网络进行分类1.21.Pytorch多分类问题1.21.1.PyTorch:Softmax多分类实战多分类一种比较常用的做法是在最后一层加softmax归一化，值最大的维度所对应的位置则作为该样本对应的类。本文采用PyTorch框架，选用经典图像数据集mn

转载 PyTorch的六个学习率调整

本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击：https://github.com/tensor-yu/PyTorch_Tutorial文章目录一、pytorch中六种学习率调整方法1.lr_scheduler.StepLR2.lr_scheduler.MultiStepLR3.lr_scheduler.ExponentialLR4.lr_scheduler.CosineAnnealingLR5.lr_scheduler.ReduceLROnPlateau6.lr_s

转载 PyTorch的十个优化器（SGD，ASGD，Rprop，Adagrad，Adadelta，RMSprop，Adam(AMSGrad)，Adamax，SparseAdam，LBFGS）

本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击：https://github.com/tensor-yu/PyTorch_Tutorial文章目录1 torch.optim.SGD2 torch.optim.ASGD3 torch.optim.Rprop4 torch.optim.Adagrad5 torch.optim.Adadelta6 torch.optim.RMSprop7 torch.optim.Adam(AMSGrad)8 torch.optim.Adam

转载 pytroch 数据增量 transforms的二十二个方法

本文转自：https://blog.csdn.net/u011995719/article/details/85107009官方文档：https://pytorch.org/vision/0.8/transforms.html本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击：https://github.com/tensor-yu/PyTorch_Tutorial文章目录一、 裁剪——Crop1.随机裁剪：transforms.RandomCrop2.中心裁剪：transfo

原创 25_PyTorch的十九个损失函数（L1Loss、MSELoss、CrossEntropyLoss 、CTCLoss、NLLLoss、PoissonNLLLoss 、KLDivLoss等）

1.20.PyTorch的十九个损失函数1.20.1.L1Loss（L1范数损失）1.20.2.MSELoss（均方误差损失）1.20.3.CrossEntropyLoss （交叉熵损失）1.20.4.CTCLoss（连接时序分类损失）1.20.5.NLLLoss（负对数似然损失）1.20.6.PoissonNLLLoss (目标泊松分布的负对数似然损失)1.20.7.KLDivLoss（KL散度损失）1.20.8.BCELoss（二进制交叉熵损失）1.20.9.BCEWithLogits

原创 24-Logistic Regression

关于Logistic Regression，可以参考笔者整理的一篇博文：https://blog.csdn.net/tototuzuoquan/article/details/112855132以下是学习时的课程资料（为了避免忘记，抄录一下资料）

原创 22_2D函数优化实例

1.19. 2D函数优化实例为了演示优化神经网络参数得到loss极小值的过程，和不同初始值可能产生不同的极值点，在此引入了如下图所示函数：从图中可以看出该函数2D图像呈碗状，有四个极小值点，它的极值点有：接下来我们通过求解该函数极小值，来测试我们设计的优化器效果如何。画图代码：# -*- coding: UTF-8 -*-import numpy as npimport matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import

原创 09_Flink入门案例、word-count程序（java和scala版本）、添加依赖、Flink Streaming和Batch的区别 、在集群上执行程序等

1.9.Flink入门案例-wordCount1.9.1.开发工具1.9.2.编写java版本word-count程序1.9.2.1.添加Flink Maven依赖1.9.2.2.编写wordcount的java代码1.9.2.3.数据准备1.9.2.4.执行结果1.9.3.编写scala版本word-count程序1.9.3.1.添加Flink依赖1.9.3.2.编写wordcount的scala程序1.9.4.Flink StreamingWindowWordCount1.9.5.

原创 20、21_链式法则、MLP(多层感知器模型)反向传播

1.17.链式法则x经过参数w1和b1得到y1，y1再通过w2和b2得到y2，要求y2对w1的导数，可以求y2对y1然后y1对w1的导数。PyTorch可以自动使用链式法则对复杂的导数求解。# -*- coding: UTF-8 -*-import torchx = torch.tensor(1.2)w1 = torch.tensor(2.3, requires_grad=True)b1 = torch.tensor(1.3)y1 = x * w1 + b1w2 = torch

原创 20_感知机（单一感知机，多输出感知机）+ 推导

1.16.感知机1.16.1.单一感知机神经网络最简单的结构就是单输出的单层感知机，单层感知机只有输入层和输出层，分别代表了神经感受器和神经中枢。案例：# -*- coding: UTF-8 -*-import torchfrom torch.nn import functional as Fx = torch.randn(1, 10)w = torch.randn(1, 10, requires_grad=True)o = torch.sigmoid(x @ w.t())

原创 15_torch.sigmoid,torch.nn.Sigmoid之间的区别

torch.sigmoid(input, *, out=None) → TensorCLASS torch.nn.Sigmoid案例：import torchm = torch.nn.Sigmoid()input = torch.randn(2)output = m(input)print(output)

原创 17,18_常见函数梯度，激活函数梯度（Sigmoid、Tanh、ReLu）

1. 常见函数梯度1.1 常见函数2. 激活函数及其梯度2.1 激活函数Derivative (倒数)Sigmoid / LogisticSigmoid Derivative (求导)torch.sigmoid# -*- coding: UTF-8 -*-import torcha = torch.linspace(-100, 100, 10)print(a)"""输出结果：tensor([-100.0000, -77.7778, -55.5556, -3

原创 14_pytorch.where,pytorch.gather

1.14.高级OP1.14.1.where给定一个条件cond，满足条件的取x对应位置元素，不满足的取y对应元素。代码示例：# -*- coding: UTF-8 -*-import torcha = torch.randn(3, 5)b = torch.ones(3, 5)print(a)"""输出结果：tensor([[ 1.4446, 0.4373, 0.6730, 0.1549, -1.0664], [ 0.4106, 0.3604, 1.37

转载 HIVE时间戳错误unix_timestamp时间不同环境相差8小时

本文转自：https://blog.csdn.net/leys123/article/details/112665773今天在迁移项目时，发现HIVE中unix_timestamp得到的时间在测试环境和线上环境不一致，相差8小时。遂拿时间转换语句 select from_unixtime(unix_timestamp(), ‘yyyy-MM-dd HH:mm:ss’) ; 去测试环境和线上环境测试：测试环境：同样的命令去线上环境查看：发现确实相差8小时，这是为什么呢？语句都一样，猜测可

原创 13,12_基本运算,add/minus/multiply/divide,矩阵相乘mm,matmul,pow/sqrt/rsqrt,exp/log近似值,统计属性,mean,sum,min,max

1.12.基本运算1.12.1.add/minus/multiply/divide1.12.2.矩阵相乘mm,matmul1.12.3.pow/sqrt/rsqrt1.12.4.exp/log1.12.5.近似值floor、ceil、trunc、frac、round1.12.6.现幅max、min、median、clamp1.13.统计属性1.13.1.norm1.13.2.mean,sum,min,max,prod1.13.3.max,argmin,argmax,topk,kthval

原创 11_拼接与拆分,cat,stack,split,chunk

1.11.拼接与拆分1.11.1.cat1.11.2.Stack1.11.3.split1.11.4.chunk1.11.拼接与拆分1.11.1.catnumpy中使用concat，在pytorch中使用更加简写的 cat完成一个拼接两个向量维度相同，想要拼接的维度上的值可以不同，但是其它维度上的值必须相同。举个例子：还是按照前面的，想将这两组班级的成绩合并起来a[class 1-4, students, scores]b[class 5-9, students, scores