chairon的博客

1.SE模块SE模块属于通道注意力机制，让网络重视最重要的通道。过程：对输入特征进行全局平均池化进行两个全连接，提取通道注意力，再用Sigmoid函数归一化到[0,1]，之间作为输入的权重进行相乘。import torchimport torch.nn as nnimport mathclass se_block(nn.Module): def __init__(self, channel, ratio=16): super(se_block, self)._

1. Fully Connected Neural Network2. Convolutional Neural Network特征提取卷积池化分类展开全连接2.1Convolution卷积：拿N*N大小的kernel去与像素矩阵做内积N Input Channels and M Output Channels：M个kernel：kernel size：n*????????????????????????_??????????????????????????

1. softmax使最后输出结果是一个概率分布，和为1.2. Cross Entropy CrossEntropyLoss = LogSoftmax + NLLLoss损失函数，其中已经包括了求softmax。3. MNIST数据集分类transform=transforms.Compose([transforms.ToTensor(),#Convert the PIL Image to Tensor. transfor

1. epochepochbatchsizeIteration所有训练样本的一次训练一次训练中训练的样本数量迭代：1个iteration等于使用batchsize个样本训练一次举个例子，训练集有1000个样本，batchsize=10，那么：训练完整个样本集需要：100次iteration，1次epoch。2.dataset Dataset是一个包装类，用来将数据包装为Dataset类，然后传入DataLoader中，我们再使用DataLoader这个类来更加快捷

1.加载数据： datas=np.loadtxt('diabetes.csv',delimiter=',',dtype=np.float32)不同的激活函数：链接多层输入：2.import numpy as npimport torch#step1:准备数据集datas=np.loadtxt('diabetes.csv',delimiter=',',dtype=np.float32)x_train=torch.from_numpy(datas[:,:-1])#转化为tensor

loss Functimport numpy as npimport torchimport torch.nn.functional as Fimport matplotlib.pyplot as plt#1.Prepare datasetx_data=torch.Tensor([[1.0],[2.0],[3.0]])y_data=torch.Tensor([[0],[0],[1]])#---------------------------------------------------

Pytorch顺序：Prepare datasetDesign model using Class inherit from nn.ModuleConstruct loss and optimizer using PyTorch APITraining cycle forward, backward, updateimport numpy as npimport torch# Prepare dataset#数据必须转化成Tensors#x_data