![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习基础知识
文章平均质量分 89
BrotherHappy
故事还长,樱花依旧。
展开
-
Data augmentation
图像增强技术有 Flip Color Space Transform Rotation Transation Noise Crop 在几何变换中可以增加最多的准确性 Kernel filters 既可以锐化也可以模糊,机理类似于CNN的卷积核 Mixing images 乍一看有一点违反人的直觉,但是的确有效的降低了err 像素级别的mix mixing这种效果的一个可能的解释是增加了的数据集尺寸导致了网络对于低层次的特征(类似于线和边)有更鲁棒的表达。 实验发现更好的结果出现在mix整个数据集而不是在.原创 2021-08-12 15:14:09 · 252 阅读 · 0 评论 -
一些信息熵的基本知识
一些信息熵的基本知识1.熵的定义总结:2. KL散度,相对熵的定义,其表示两个分布X和Y不同的程度3. 交叉熵: 1.熵的定义 我们把熵代表一个系统中的不确定性,其基本公式如下: S(x)=−∑i=0C−1P(xi)log(P(xi))=∑iP(xi)log(1P(xi))1).通俗来说,如果x代表性别,如果x0代表某个事件比方说我是男生,x1代表我是女生,并且概率都是1/2那么整个系统中,代表性别的随机变量x的熵(代表了不确定性)是12log2+12log2=1即log2,那么我的性别的不确定性为log2原创 2021-03-25 19:37:55 · 462 阅读 · 0 评论 -
常用损失函数的定义
常用损失函数的定义1. 0-1损失函数2. 绝对值损失函数3. log对数损失函数4. 平方损失函数5. 指数损失函数(exponentialloss)(exponential\quad loss)(exponentialloss)6. Hinge损失函数7. SVM损失函数8 BCEWithLogitsLoss 1. 0-1损失函数 0-1损失函数是指预测值和目标值不相等时为1,否则为0: L(Y,f(x))={1,Y≠f(X)0,Y=f(X) L(Y,f(x))= \begin{cases} 1,Y原创 2021-03-25 19:36:01 · 650 阅读 · 0 评论 -
常用的激活函数总结
常用的激活函数总结常用的激活函数的总结1. Sigmoid 函数2. tanh函数3. ReLU函数4. ELU(Exponential Linear Uints)函数5. MaxOut 函数6.GeLU函数 常用的激活函数的总结 1. Sigmoid 函数 f(z)=11+e−z f(z)=\cfrac 1{1+e^{-z}} f(z)=1+e−z1 2. tanh函数 tanh(x)=ex−e−xex+e−x tanh(x)=\cfrac{e^x-e^{-x}}{e^x+e^{-x}} tanh(x原创 2021-03-25 19:34:15 · 358 阅读 · 0 评论