深度学习
陈昊-1
路漫漫,行则将至;
展开
-
softmax函数与交叉熵的反向梯度传导
这几天学习了一下softmax激活函数,以及它的梯度求导过程,整理一下便于分享和交流!softmax函数softmax用于多分类过程中,它将多个神经元的输出,映射到(0,1)区间内,可以看成概率来理解,从而来进行多分类!假设我们有一个数组,V,Vi表示V中的第i个元素,那么这个元素的softmax值就是更形象的如下图表示:softmax直白来说就是将原来输出转载 2017-06-27 14:18:24 · 5782 阅读 · 0 评论 -
CS231N_训练神经网络下_更好的优化(7)
一、优化算法 优化算法有很多中,其中最为简单常见的是SGD(stotastic gradient descent)算法,但该算法也有缺点,即对于高维网络的优化,由于高维的网络会存在很多鞍点,即梯度为零的点,如果学习率不大,就有可能会停留在鞍点而无法再优化,所以一种改进的方法是在随机梯度下降算法的基础上加上了动量(momentum)。 动量实际上就是以一定...原创 2018-11-07 20:27:18 · 434 阅读 · 0 评论 -
深度学习评价指标
与目标识别不同,目标检测中不仅仅需要在一张图片中检测到是否含有某物体,还需要将该物体的位置找出来,所以在判定模型的好坏时,就有其标准--mAP一、Mean Average Precision--mAP(一)什么是mAP 平均精度均值(mAP)是预测目标位置以及类别的这一类算法的性能度量标准。mAP对于评估目标定位模型、目标检测模型以及实例分割模型非常有用。 ...原创 2018-10-31 21:42:20 · 6833 阅读 · 4 评论 -
COCO数据集格式
一、COCO数据集JSON文件格式json文件主要包含以下几个字段:<class 'dict'>{ "info": info, # dict "licenses": [license], # list ,内部是dict "images": [image], # list ,内部是dict "annotations": [annotat...原创 2018-10-13 20:20:41 · 45800 阅读 · 6 评论 -
深度学习基础(1)
1、softmax 2、cross_entropy3、loss function原创 2018-03-12 20:35:21 · 175 阅读 · 0 评论 -
深度学习中各种符号及术语的定义(一)
1、符号定义对于每个neuron输出定义为a,其中a有上标和下标,上标l表示是第l层的neuron的输出,i表示是第l层的第i个neuron输出。原创 2017-10-06 15:53:05 · 7470 阅读 · 0 评论