deeplearning
文章平均质量分 55
冬日and暖阳
Github: https://github.com/pengfeidip
邮箱:pengfeidip@qq.com
展开
-
intel for pytorch加速实验
intel的pytorch加速包原创 2023-01-03 11:28:00 · 1919 阅读 · 0 评论 -
pytorch的预训练模型的使用
背景pytorch中有很多在ImageNet上训练得到的预训练模型,可以拿来做迁移学习(如下图)。但是使用的时候需要注意,如果想得到最佳的效果以及最快的收敛速度,那么迁移学习的时候,预处理部分需要和这些模型在ImageNet上训练的时候保持一直。对应的预处理以上的模型在ImageNet上训练时,对图像使用的预处理是channe的顺序是 RGB(不是BGR)tensor的维度顺序是 C ✖️ H ✖️ W像素值归一化到0~1减去均值:[0.485, 0.456, 0.406]除以标准差:[原创 2022-03-30 20:12:16 · 3550 阅读 · 0 评论 -
pytorch 提取中间层的特征
一、背景需要提取网络中间层的特征,用于特征工程或者可视化二、解决方案先说好,有很多解决的方法呢,这里给出一种我认为是简单的,官方提供的功能https://pytorch.org/vision/main/generated/torchvision.models.feature_extraction.create_feature_extractor.html#torchvision.models.feature_extraction.create_feature_extractor核心代码如下fro原创 2022-03-30 11:28:46 · 3599 阅读 · 2 评论 -
BatchNormalization-BN融合-把BN层融合到卷积层里面
原文:https://nenadmarkus.com/p/fusing-batchnorm-and-conv/\qquad背景:组里面一直在用BN融合进行模型的加速,之前大致了解了原理,但是细节完全没印象,所以这次弄懂并记录。一、优势\qquad推理的时候,进行BN融合可以把Conv+BN融合成一个Conv,减少运算量,减少模型参数量,减少访存,总之是可以加速,而且没有模型的精度损失(除非有一点点的计算精度差异)二、原理\qquad 见文章, 说的很清楚了。基本上就是数据上的等式变换。可以前向时转载 2021-03-06 18:20:58 · 1435 阅读 · 4 评论