![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
-- 网络训练
AI算法-图哥
个人微信: tuge7893,欢迎交流~
展开
-
训练技巧之数据集太多,加载太慢怎么办?
1. 背景训练集全是16x16,32x32之类的小图,达到上千万张,训练时发现数据加载很慢很慢很慢!!!看了下CPU 内存 GPU使用情况,发现CPU使用率都跑到90%去了,GPU使用率却较低2. 解决方法2.1 预处理提速尽量减少每次读取数据时的预处理操作,可以考虑把一些固定的操作,例如 resize ,事先处理好保存下来,训练的时候直接拿来用Linux上将预处理搬到GPU上加速:NVIDIA/DALI :https://github.com/NVIDIA/DALI2.2 IO提速2.原创 2020-10-26 22:46:59 · 6311 阅读 · 0 评论 -
训练技巧之百万级类别的分类模型的拆分训练
1. 背景很多人脸识别算法都是以分类的方式进行训练的,分类的训练方式中存在一个很大的问题,就是模型的最后一个全连接层的参数量太大了,以512为特征为例:类别数参数矩阵尺寸参数矩阵大小(MB)100w类别——1953MB200w类别——3906MB500w类别——9765MB类别再多的话,1080TI这种消费级的GPU就装不下了,更不用说还有forward/backward的中间结果需要占据额外的显存。现在的开源数据越来越多,就算没有自己的数据,靠开源数据也能把类别数量堆到100万了,这种.原创 2020-10-26 22:34:40 · 987 阅读 · 0 评论 -
深度学习图像数据增广方法总结
参考:Data Augmentation | How to use Deep Learning when you have Limited Data—Part 2文章目录1. 数据增广(Data Augmentation)2. 数据增广方法2.1 镜像(Flip)2.2 旋转(Rotation)2.3 缩放(Scale)2.4 裁剪(Crop)2.5 平移(Translation)2.6 高斯...原创 2019-07-14 21:35:27 · 8229 阅读 · 2 评论