DL
文章平均质量分 90
ffiirree
学生
展开
-
BatchNorm原理以及PyTorch实现
BatchNorm算法简单来说BatchNorm对输入的特征按照通道计算期望和方差,并标准化(均值为0,方差为1)。但这会降低网络的表达能力,因此,BN在标准化后还要进行缩放平移,也就是可学习的参数γ\gammaγ和β\betaβ,也对应每个通道。BatchNorm的原理并不清楚,可能是降低了Internal Covariate Shift,也可能是使得optimization landscape变得平滑。优点提高训练稳定性,可使用更大的learning rate、降低初始化参数的要求并可以构建原创 2021-11-22 16:54:23 · 2666 阅读 · 0 评论 -
CentOS 7.9 从源码安装PyTorch
ENVCentOS Linux release 7.9.2009 (Core)GCC 4.8.5Driver Version: 440.95.01CUDA 10.2.89cuDNN 7.6.5conda 4.8.3Tesla K40m升级GCC系统自带的4.8.5的gcc不满足编译要求,所以需要升级一下。我直接从源码编译安装gcc 7.5.0tar xzf gcc-7.5.0.tar.gzcd gcc-7.5.0/mkdir build && cd build.原创 2020-12-10 23:01:57 · 833 阅读 · 0 评论 -
最大似然估计、KL散度和交叉熵
深度学习建立在概率论的基础上,本质是估计数据集(具有随机误差)的分布。极大似然估计极大似然估计是点估计的一种,我们定义一个似然函数来作为对真实分布的估计,取似然程度最大的一组参数作为估计值。根据大数定理,当数据量足够大时,其差为0。给定分布P(x;θ)P(x; \boldsymbol{\theta})P(x;θ),从中取一组样本X1,X2,X3,...,XnX_1, X_2, X_3, .....原创 2019-09-18 20:10:24 · 1858 阅读 · 2 评论