![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
coder_zrx
这个作者很懒,什么都没留下…
展开
-
关于深度学习中的梯度下降与学习率调整策略
推荐三篇文章,写的相当清楚,在这记录一下,方便以后查阅1、关于梯度下降算法:https://lumingdong.cn/summary-of-gradient-descent-algorithm.html2、关于梯度下降中学习率设定策略:https://lumingdong.cn/setting-strategy-of-gradient-descent-learning-rate.html#快照集成和随机加权平均(Snapshot_Ensembling_And_Stochastic_Weig原创 2020-06-06 15:50:45 · 358 阅读 · 0 评论 -
BatchNormal原理详解(相关参数解释)
简单来说BN原理就是,在训练深层神经网络的过程中, 由于输入层的参数在不停的变化, 因此, 导致了当前层的分布在不停的变化, 这就导致了在训练的过程中, 要求 learning rate 要设置的非常小(就像是游戏中的通过表演去传递一个消息,每一层可能都表演的不一样,到最后就完全变形了,所以需要一点一点的学,学习率不能设置太大), 另外, 对参数的初始化的要求也很高. 作者把这种现象称为internal convariate shift. Batch Normalization 的提出就是为了解决这个问题.转载 2020-06-04 15:26:47 · 2491 阅读 · 0 评论 -
深度学习 warmup 策略\Warmup预热学习率
推荐博客https://blog.csdn.net/sinat_36618660/article/details/99650804https://blog.csdn.net/comway_Li/article/details/105016725https://blog.csdn.net/longe20111104/article/details/88397152原创 2020-04-26 00:33:09 · 1376 阅读 · 0 评论 -
神经网络训练加速、增加稀疏性操作(Dropout、GN、BN、LRN)
增加稀疏性(降低过拟合风险)----Dropout、LRNDropout Dropout是怎么做到防止过拟合的呢?首先,想象我们现在只训练一个特定的网络,当迭代次数增多的时候,可能出现网络对训练集拟合的很好,但是对验证集的拟合程度很差的情况。所以,我们有了这样的想法:可不可以让每迭代随机的去更新网络参数,引入这样的随机性就可以增加网络generalize 的能力。所以就有了d...原创 2020-04-12 11:47:24 · 3684 阅读 · 1 评论 -
SVM的来龙去脉(4)
SVM中的对偶问题以及KKT条件原创 2020-04-07 00:17:58 · 226 阅读 · 0 评论 -
SVM来龙去脉(3)
SVM中的核函数和SMO原创 2020-04-06 23:59:39 · 187 阅读 · 0 评论 -
SVM来龙去脉(2)
SVM的拟合过程1、怎么做二分类的思路,简单说就是确定一条直线,也就是确定参数w和b。参数w和b知道后,再给一个样本x,带入到上面的公式,如果y≥+1,就判断为正类(+1),如果y≤-1,就判断为负类(-1)。这条直线或超平面怎么找呢?假设标签为{+1,-1}。要想更好的分开这两类数据,在数据上划出两条线,使这两类数据之间的间隔最大,对应图中的虚线。在两条虚线的中间画一条直线,对应图中橙色...原创 2020-04-06 23:42:54 · 364 阅读 · 0 评论 -
SVM的来龙去脉(1)
SVM的来历 SVM作为机器学习中的一大霸主(虽然今时不同往日),对机器学习领域产生了很大的影响。SVM的相关原理看的时间比较久,所以想记录一下,想说清楚这件事需要比较多的文字,所以文章比较长(分为几部分),我们先谈谈SVM的来历 1、Logistic回归我们就先从logistic回归谈起,我们都知道线性回归是试图学得一个线性模型,以尽可能准确的预测实值输出标记。假如我们将线...原创 2020-04-06 22:22:15 · 1253 阅读 · 0 评论 -
用python搭建神经网络 实现书籍ISBN号识别
import numpyimport scipy.specialimport matplotlib.pyplotimport cv2import osclass neuralNetwork: def __init__(self,Inodes,Hnodes,Onodes,Lrate): #初始化函数 self.inodes=Inodes...原创 2020-04-06 21:12:55 · 2010 阅读 · 4 评论