深度学习
码农的科研笔记
这个作者很懒,什么都没留下…
展开
-
一文彻底搞懂信息熵、相对熵、交叉熵和条件熵(含例子)
熵:就是描述信息的不确定的程度,统计学中,对事件的发生情况可以通过概率P定量的描述出来,熵也是一种统计学定量描述,是对信息的不确定程度的描述,这种描述也是通过“概率P”来描述的。对于某个事件的信息熵的计算公式如下:式中X代表事件,事件X的发生存在n中可能性,当我们知道每一种可能性情况下的发生概率值时,就能通过上式子计算得到信息熵值。【例子】序号 事件 ...原创 2018-10-10 17:02:14 · 7270 阅读 · 3 评论 -
深度学习激活函数 和 优化函数总结
1、SGD,Momentum,Adagard,Adam原理?【第一张图为不同算法在损失平面等高线上随时间的变化情况】【第二张图为不同算法在鞍点处的行为比较。】SGD(Stochastic Gradient Descent)(随机梯度下降)【意义】单纯的梯度计算容易得到局部最优解,这个时候引入随机变量能很好的在保证梯度下降大体方向情况下得到最优解。也就是说,虽然包含一定...原创 2019-04-20 10:16:00 · 1027 阅读 · 0 评论 -
Tensorflow中k.gradients()和tf.stop_gradient()的深入理解
上周在实验室开荒某个代码,看到中间这么一段,对Tensorflow中的stop_gradient()还不熟悉,特此周末进行重新并总结。 y = xx + K.stop_gradient(rounded - xx)这代码最终调用位置在tensoflow.python.ops.gen_array_ops.stop_gradient(input, name=None),关于这段代码...原创 2019-05-19 18:26:26 · 8677 阅读 · 1 评论 -
10分钟,关于softmax,softmax loss理解
最近在开荒一篇商汤科技使用AutoML方法设计的Loss函数的文章《AM-LFS AutoML for Loss Function Search》,其中以常用的损失函数Softmax损失函数以及变种进行了分析,为了开荒方便,先对Softmax进行一个梳理总结。【1、softmax函数介绍】softmax是一个函数,其输出值是一个向量并取值为[0,1],公式见下,其中代表总类别数,表示输...原创 2019-05-24 16:43:01 · 8241 阅读 · 0 评论 -
【文章】商汤科技《AM-LFS AutoML for Loss Function Search》解读
这里写自定义目录标题回顾部分损失函数Softmax Loss功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入回顾部分损...原创 2019-05-25 19:42:35 · 1066 阅读 · 0 评论 -
【keras原理解析】Keras神经网络运行源码深入解析
model.fit(X_train,y_train,batch_size=BATCH_SIZE,nb_epoch=1,validation_data=(X_val,y_val))以上是keras进行model训练的fit代码,它真正的实现流程是怎样的呢?以上最终调用的是training.Model.fit()方法,在fit方法主要进行步骤如下:模型参数的处理,验证数据的合法性相...原创 2019-05-19 11:22:02 · 2967 阅读 · 0 评论 -
keras自定义网络层_(源码解读)
keras是基于Tensorflow等的一个神经网络的上层框架,通过Keras我们可以简单的构造出自己的神经网络,同时Keras针对主流的算法框架、激活函数和优化函数等进行自己的实现,某些方面只需要我们进行简单的调用,Keras的出现大大简化了网络构建的成本。Keras自定义网络层需要一下步骤:1、继承一个Layerkeras顶级Layer类定义在engine包的base_laye...原创 2019-05-28 11:03:34 · 2397 阅读 · 0 评论 -
【文章】经典《Going deeper with convolutions》(inception-V1)解读
GoogleNet是Google在2014年提出来的网络,这种网络大幅度减少了模型的参数数量,降低了计算资源,虽然整个网络只有22层,但是ILSVRC 2014年比赛中分类任务的TOP-1。GoogleNet有22层深,比AlexNet的8层或者VGGNet的19层还要更深。但其计算量只有15亿次浮点运算,同时只有500万的参数量,仅为AlexNet参数量(6000万)的1/12,却可...原创 2019-06-04 16:23:07 · 600 阅读 · 0 评论