- 博客(16)
- 收藏
- 关注
RSS订阅原创 pytorch学习笔记-----对抗生成网络GAN
生成器，判别器G：生成网络生成的都为假的D：判别网络判别真实数据与来自生成网络的假数据判别网络其实就是进行一个图像二分类生成网络需要fc层输出个数为h*w*c(c=1or3 即为一张图片的形式)损失函数第一输入参数预测值，第二个参数标签值BCEloss:需要将预测值映射到0~1之间，将所有预测结果传入sigmoid中，标签只有0和1计算公式如下import torch.nn as nnloss=nn.BCELoss()#需要进行映射才能传入loss=..
2021-07-15 10:49:47
299
原创 pytorch学习笔记-----RNN CNN自然语言处理
RNNclass Model(nn.Module): def __init__(self,config): super(Model,self).__init__() self.embedding=nn.Embedding.from_pretrained(config.embedding_pretrained,freeze=False) self.lstm=nn.LSTM(config.embed,config.hidden_size,co...
2021-07-14 18:50:27
460
原创 pytorch学习笔记-----自然语言处理
1.可以输入中间词来预测上下文CBOM2.可以根据上下文预测中间值Skip gram存在问题：语料库太大时可能造成万级甚至更大分类例如 输入 he is输出可能为 person,dog,cat,bird ......等结果为了解决这一问题rnn直接将把输入和期望的输出结果都作为网络的输入，用网络来预测负采样模型：上述方法会存在这样的问题，机器会想一直往1猜所以我们需要负采样，对一些词标0例如：he is play 需要把play标0负采样模型推..
2021-07-13 20:26:45
76
原创 pytorch学习笔记-----自然语言处理词向量
问题：文本数据不能直接输入神经网络,用词频统计没有位置顺序信息词向量模型-Word2Vec1.词向量可以记录位置信息2.词向量可以将同义此归为同一个向量例如:红，red3.同类应该在相近的位置例如:篮球，排球维数一般为特征：比如说：一根笔的长度，宽度，颜色等这些都为一个维度我们可以通过算距离来计算相似度个人理解：整个流程就是把词生成词向量，词向量表是随机初始化的，训练的过程就是要更新他的词向量，使之能更好的预测下一个词...
2021-07-13 15:10:54
136
原创 pytorch学习笔记-----递归神经网络RNN 与LSTM
用途： CNN一般用于图像处理中 RNN一般用于自然语言处理特征的时序相关性： 每一次训练都考虑到之前的结果（有了时序性的连接） 前一时刻的隐层输出反过来作为下一次隐层输入的一部分存在问题：个人理解RNN网络会考虑到所有的之前的结果，如果时序很长，那必然会导致前后关联没那么大，这样效果不好LSTM：为解决这一问题，有选择性进行时序信息遗忘加入C参数控制单元，可以改变模型的复杂度，选择要保留的信息...
2021-07-13 14:25:04
142
原创 pytorch学习笔记-----Resnet 残差网络论文学习
发现问题：深层网络训练的效果反而不如浅层网络效果解决办法： 一方面更深卷积，另一方面要对未卷积之前的进行映射 （个人理解即相当于未进网络的图片分成两条路一条走网络，一条直接拿过来，可以通过训练对两条路的训练效果进行比较调整比重，保证训练的结果至少不比未经网络之前的差）Resnet网络中体现： 每个模块都要相上述方法两条路进网络，对于特征图数不同的，我们可以进行卷积操作来增加特征图数量（要求：两条路最终...
2021-07-13 13:58:25
117
原创 pytorch学习笔记------迁移学习④
用训练好的模型对未知的图像进行预测'''加载训练模型需要对图像进行预处理严格按照网络需要的格式'''import numpy as nptrain_on_gpu=Truedataiter=iter(dataloaders['valid'])images,labels=dataiter.next()model_ft.eval()if train_on_gpu: output=model_ft(images.cuda())else: output=model_ft(i
2021-07-13 11:40:19
135
原创 pytorch学习笔记-----迁移学习③
优化器选择'''优化器设置'''optimizer_ft=optim.Adam(params_to_update,lr=1e-2)scheduler=optim.lr_scheduler.StepLR(optimizer_ft,step_size=7,gamma=0.1)#学习率每7个epoch衰减成原来的1/10#最后一层已经logSoftmax()了，所以不能nn.CrossEntropyLoss()计算，nn.CrossEntropyLoss()相当于logSoftmax()和nn
2021-07-12 21:38:01
407
原创 pytorch学习笔记------迁移学习②
迁移学习两种训练策略： ①直接用原参数做初始化，继续进行训练 ②将前面卷积层（主要用于特征提取）冻住，直接训练全连接层，可根据数据量多少调整冻住层数量pytorch迁移学习步骤代码示例加载resnet152import torchfrom torchvision import modelsimport torch.nn as nnmodel_name='resnet'feature_extract=Truedevice=torch.device...
2021-07-12 19:01:35
491
原创 pytorch学习笔记-----迁移学习①
迁移学习的意义： 可以有效解决数据不够，防止过拟合 有效减少网络训练时间用法： 尽量任务相似 输入输出结构要严格一致
2021-07-12 17:55:57
102
原创 pytorch学习笔记-----分类网络实践
基于经典网络训练图像分类数据预处理部分：可以利用torchvision.transforms模块进行数据增强，及数据预处理 制作可以读取数据的dataloader网络模型设置： 可以加载预训练模型，例如torchvision经典网络框架 可以更改最后的head层训练自己的任务，大多为全连接层 前几层多为特征提取我们可以只训练最后任务层网络模型保存...
2021-07-12 17:47:47
62
原创 pytorch学习笔记-----torchvision三大核心模块
datasets模块：提供一些数据集 数据加载 ImageFolder DatasetFoldermodels模块: 经典网络架构的实现 （可以拿到网络架构，训练权重可用于迁移学习，偏执参数） 例:基于pytorch导入vgg16代码import torchvision.models as modelsvgg16=model.vgg16()...
2021-07-12 17:34:04
144
原创 pytorch学习笔记-----卷积，池化参数计算
卷积神经网络构建一般卷积层，relu层，池化层写成一个模块import torch.nn as nnclass CNN(nn.Module): def __init__(self): super(CNN,self).__init__() self.conv1=nn.Sequential( nn.Conv2d( in_channels=1,#输入通道数1（灰度图） ou
2021-07-11 21:29:56
227
原创 pytorch学习笔记------batchsize制作（分类任务）
基于pytorch框架训练batchsize制作from torchvision import datasetsimport osimport torchbatch_size=8#训练batchsizedata_dir=''#数据集文件夹image_datasets={x:datasets.ImageFolder(os.path.join(data_dir,x),data_transforms[x]) for x in ['train','valid']}#datasetdataloade
2021-07-11 20:56:07
629
原创 pytorch学习笔记-----数据增强
做法：对图像进行任意或特定角度的旋转，剪切等。意义：1.解决数据量不够问题2.高效利用数据from torchvision import transformsdata_transforms={ 'train': transforms.Compose([transforms.RandomRotation(45),#随机翻转 transforms.CenterCrop(224),#中心裁剪
2021-07-11 20:32:04
134
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人