pytorch
文章平均质量分 94
龙海L
金牛座理工男,请多多指教,多多打赏点赞
展开
-
图像分类性能提升方案
文章目录1.模型训练调参1.1学习率衰减策略采用cosine函数1.2使用标签平滑(label smooth)1.3知识蒸馏(knowledge distillation)1.4Mixup2.迁移学习在已经成熟的模型参数初始化,训练自己的数据参考文章:https://zhuanlan.zhihu.com/p/114869268在不改变网络模型的前提下的性能提升tricks1.模型训练调参1.1学习率衰减策略采用cosine函数1.2使用标签平滑(label smooth)1.3知识蒸馏(know原创 2021-01-20 16:38:22 · 1299 阅读 · 0 评论 -
Pytorch实现YOLOv3目标检测
本教程使用的代码需要运行在 Python 3.5 和 PyTorch 0.3 版本之上。你可以在以下链接中找到所有代码:https文章目录一,YOLO工作原理1,全卷积神经网络2,输出3,二,创建YOLO网络层级三,实现网络的前向传播四,目标置信度阈值和非极大值抑制五,设计输入和输出管道一,YOLO工作原理1,全卷积神经网络FCN 75个卷积层,跳过连接和上采样,不适用任何形式的池化,使用步幅为2的卷积层对特征图进行下采样。这有助于防止通常由池化导致的低级特征的丢失。作为 FCN,YOLO 对于输原创 2020-09-29 22:51:39 · 1905 阅读 · 0 评论 -
常用分类网络结构学习笔记
文章目录VGG NetResNet and GoogleNetIncepetionResNextDenseNETSE-Net轻量级MobileNet(2017)MobileNet V2(CVPR2018)ShuffleNet(2017)ShuffleNet v2(2018)VGG Net输入是大小为224224的RGB图像,预处理:计算出三个通道的平均值,在每个像素上减去平均值(处理后迭代更少,更快收敛)卷积层:使用非常小的33的卷积核,在有些卷积层里使用11的卷积核;卷积步长(stride)设置为原创 2020-07-07 09:41:07 · 1211 阅读 · 0 评论 -
PyTorch模型转caffe
PyTorch模型转caffe简单教程1.将Pytorch 模型参数名和对应权重保留,存成字典,存入npy文件2. 建立caffe的prototxt文件。对应pytorch的网络结构,参数名字要有对应规律,可以使用python接口写,然后自动生成。1.手写prototxt文件,根据pytorch的模型。2.采用python接口自动生成prototxt文件3. 建立caffemodel文件,根据参数映射,将pytorch参数权重赋予caffe4.推测。对caffemodel进行测试,看看能不能得到对应结果1原创 2020-07-04 17:10:23 · 2289 阅读 · 0 评论 -
PyTorch的GPU训练方式学习
文章目录单机单卡单机多卡多机多卡 分布式训练torch.distributed 包支持单机单卡单机多卡torch.nn.DataParallel多机多卡 分布式训练torch.distributed 包支持分布训练包括 GPU 和 CPU 的分布式训练支持。Pytorch 分布式目前只支持 Linux。torch.distributed 分布式训练的优势:1.每个进程对应一个独立的训练过程,且只对梯度等少量数据进行信息交换。在每次迭代中,每个进程具有自己的 optimizer ,并独立原创 2020-07-04 16:59:53 · 1002 阅读 · 0 评论 -
时间序列网络RNN,LSTM入门
文章目录RNNRNN解决问题示例:语句情感分析传统方法问题:长句子,参数过多 (改进:使用参数共享,每个单词的特征提取方式一致)没有上下句的语境信息 (改进:需要长期的记忆模块)改进的模型:h0h_0h0为初始化数据共享的参数:whhw_{hh}whh和wwhw_{wh}wwh;最后输出可以是最后的节点,也可以将所有的记忆节点综合输出,比较灵活。最后的实际模型为:其中:激活函数使用tanh()tanh()tanh()函数输出yty_tyt也可以将所有的hth_原创 2020-05-25 21:15:41 · 1037 阅读 · 1 评论