![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习基础
文章平均质量分 77
Nick Blog
这个作者很懒,什么都没留下…
展开
-
AdamW优化器简单理解
AdamW优化器简单理解原创 2022-06-30 16:31:31 · 6680 阅读 · 0 评论 -
tensorflow学习笔记--深度学习中的epochs,batch_size,iterations详解
深度学习框架中涉及很多参数,如果一些基本的参数如果不了解,那么你去看任何一个深度学习框架是都会觉得很困难,下面介绍几个新手常问的几个参数。batch深度学习的优化算法,说白了就是梯度下降。每次的参数更新有两种方式。第一种,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍,计算量开销大,计算速度慢,不支持在线学习,这称为Bat...转载 2018-03-14 11:11:16 · 2599 阅读 · 0 评论 -
windows10+anaconda3+gpu+cuda8.0+cudnn6.0+tensorflow配置
连续配置了两天的caffe,试过了cuda,vs等各种软件的各种版本,最后连系统都装了ubantu,最后我还是放弃了,转向tensorflow。废话不多说,开始正文。1.安装Anaconda32.安装tensorflow3.安装cuda8.04.安装(或者说下载吧,因为并不需要安装)cudnn6.05.测试是否安装成功正文:1.安装Anaconda3软件介绍: Anaconda是一个用于...原创 2018-01-23 15:07:24 · 1075 阅读 · 0 评论 -
Multi-GPU下的Batch normalize跨卡同步
1. 为什么要跨卡同步 Batch Normalization现有的标准 Batch Normalization 因为使用数据并行(Data Parallel),是单卡的实现模式,只对单个卡上对样本进行归一化,相当于减小了批量大小(batch-size), 若不进行同步BN,moving mean、moving variance参数会产生较大影响,造成BN层失效。对于比较消耗显存的训练任务时,往往单卡上的相对批量过小,影响模型的收敛效果。 在图像语义分割的实验中,使用大模型的效果反而变差,实际上就是BN在原创 2020-12-17 09:26:51 · 533 阅读 · 1 评论 -
各种卷积操作及其矩阵运算
前言简单来讲,卷积是一种函数和函数产生一个新函数的数学运算,该数学运算的自变量是两个函数f, g(连续或离散都可以,,定义域之外的部分记函数值填充为0),输出为一个函数h,满足,或者说,就是对每个自变量t, 的h(t)值,都是g与对应f的函数值的加权和。1. 一维离散卷积数学表达2. 二维离散卷积定义3. 图像卷积卷积核套合在图像上,对应位置相乘求和赋值给中心像素,滑动卷积核(从左到右,从上到下),依次得到新的特征图上的值。上图展示的是 stride=1 的情形,既每次移动一个像原创 2020-08-12 12:07:40 · 5918 阅读 · 0 评论