![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习理论
生命长跑
这个作者很懒,什么都没留下…
展开
-
BP网络和RBF网络
一、BP网络:反向传播网络二、RBF网络:径向基函数网络(Radial Basis Function)RBF结构上并不复杂,通常只有三层。输入层、中间层计算输入 x 矢量与样本矢量 c 欧式距离的 Radial Basis Function (RBF) 的值,输出层算它们的线性组合。其模型可以数学表示为:和普通的三层神经网络,RBF 神经网络的区别在中间层。中间层采用 RBF...原创 2019-06-21 18:28:48 · 2491 阅读 · 1 评论 -
classification、part segmentation、semantic segmentation、instance segmentation的不同
classification:分类,给定一个形状,预测它的类别。part segmentation:零件分割,给定一个形状,分割出它的不同零部件。semantic segmentation:语义分割,给定一个场景,对它进行语义分割,即分割出不同类别,比如人,车,桌子等等。instance segmentation:实例分割,和语义分割相似,在语义分割的基础上进一步精确分割,能分割出同一...原创 2019-06-21 17:17:22 · 3401 阅读 · 4 评论 -
深度学习中的激活函数
神经网络中添加激活函数,目的是增加网络的非线性一、sigmoidsigmoid函数也叫Logistics函数,用于隐层神经元输出,取值范围为(0,1),它可以将一个实数映射到(0,1)的区间,可以用来二分类。sigmoid缺点:激活函数计算量大,反向传播求误差梯度时,求导设计除法;反向传播时,很容易就会出现梯度消失的情况,从而无法完成深层网络的训练;sigmoid函数收敛缓慢。二、...原创 2019-07-04 10:40:34 · 271 阅读 · 0 评论 -
二次代价函数和softmax交叉熵损失函数原理及分析
首先看一下二次代价函数:以二分类问题,常见的sigmoid激活函数为例,假设表示输入值,表示真实标签(0或1),表示预测输出,则二次代价函数可表示为:其中那么代价函数对权重和偏置的偏导数分别为:从上式可以分析:当代价较大即输入输出差别较大时,的值趋于0或1,此时的值趋于0,既权重和偏置的梯度趋于0。这与我们所期望的当代价较大即输入输出差别较大时,以较大的梯度下降更新权重...原创 2019-08-27 12:31:51 · 1097 阅读 · 1 评论 -
TensorRT、TensorFlow Lite模型量化比较
优点:以FP32到INT8量化为例,模型存储占用减小为1/4;增加数据throughput。什么是量化:表达式:示意图:为什么不使用线性量化(y=ax+b)?因为线性量化后做乘运算会改变分布。怎么量化:TensorFlow Lite量化:训练后量化和量化训练两种方式。训练后量化方式:过程:1.权重量化. 2.infer校准数据集统计ac...原创 2019-09-18 15:24:52 · 6355 阅读 · 1 评论