deep-learning
文章平均质量分 54
这题我会啊
人工智能基本人工
展开
-
深度神经网络中梯度消失的原因及解决
我们总听到说梯度消失梯度消失,究竟是什么原因呢。梯度消失 上图是我们的简单3隐层神经网络,我们采取sigmod函数作为每个神经元的激活函数。即,每层输入为: zi=ωioi−1+b1z_i=\omega_io_{i-1}+b_1 输出为: oi=σ(zi)o_i=\sigma(z_i) 则根据求导的链式法则有: ∂C∂b1=∂C∂o4∂o4∂b1=∂C∂o4∂o4∂z4∂z4∂b1=∂C原创 2017-07-18 17:08:24 · 3160 阅读 · 0 评论 -
CNN 卷积之后 map大小的计算
上图13×1313\times13的map经过3×33\times3的卷积核 stride为2的卷积之后 map变成了 6×66\times6 观察右下角,可以总结出计算过程: 13-3 = 10 10/2 = 5 5 + 1 = 6也就是 (map-size)/stride + 1原创 2017-09-01 11:25:03 · 3694 阅读 · 0 评论 -
代码阅读:R-FCN
国际惯例:https://github.com/daijifeng001/R-FCN 这个matlab版本的代码,RPN是弄好的只是训练position-senstive RoI pooling那一块。我们也主要看着一块prototxt#--------------position sensitive RoI pooling--------------layer { bottom: "r原创 2017-10-30 10:25:07 · 1100 阅读 · 0 评论 -
线性相关和生成子空间
摘自 网络电子版 《深度学习》 Ax=bAx=bAx=b原创 2018-02-28 16:51:08 · 1079 阅读 · 0 评论 -
特征分解
摘自 网络电子版 《深度学习》原创 2018-03-01 10:31:32 · 596 阅读 · 0 评论 -
期望、方差和协方差
摘自 网络电子版 《深度学习》原创 2018-03-01 15:41:24 · 474 阅读 · 0 评论 -
主流卷积神经网络
DenseNet 就没写了原创 2018-02-25 21:52:35 · 440 阅读 · 0 评论 -
特殊类型的矩阵和向量
网络电子版 《深度学习》原创 2018-03-05 22:05:14 · 988 阅读 · 0 评论 -
logistic regression 和 softmax regression的损失函数
我们有logistic regression可以将实数域的输入映射为0到1的概率输出,能够有很好的意义。但是如果用平常的MSE(最小均方误差)就会有问题。我们来剖析这个问题:logistic与MSE现在有一个目标:输入0,输出1。 为了方便起见,我们现在只考虑有一个神经元 我们给定初始的权重w=0.6,b=0.9来看学习趋势,这里学习率 η=0.15,初始预测值为0.82 可以看到Co原创 2017-07-17 21:52:55 · 1916 阅读 · 0 评论 -
梯度下降法的三种形式BGD、SGD以及MBGD
阅读目录1. 批量梯度下降法BGD2. 随机梯度下降法SGD3. 小批量梯度下降法MBGD4. 总结 在应用机器学习算法时,我们通常采用梯度下降法来对采用的算法进行训练。其实,常用的梯度下降法还具体包含有三种不同的形式,它们也各自有着不同的优缺点。 下面我们以线性回归算法来对三种梯度下降法进行比较。 一般线性回归函数的假设函数为:hθ=∑nj=转载 2017-05-17 11:02:08 · 414 阅读 · 0 评论 -
机器学习----神经网络(一)Jacobian矩阵和Hessian矩阵
Jacobian矩阵和Hessian矩阵转载 2017-03-24 16:08:03 · 6406 阅读 · 1 评论 -
机器学习----神经网络(二)BP算法
神经网络学习算法误差逆传播(error BackPropagation,简称BP)原创 2017-03-25 10:55:28 · 1190 阅读 · 0 评论 -
caffe入门----pycaffe图片分类
pycaffe的入门第一篇原创 2017-04-03 21:03:31 · 814 阅读 · 0 评论 -
代码阅读:Faster RCNN
Faster RCNN是目标检测经典算法,我们看看怎么运行额~原创 2017-04-13 09:26:34 · 875 阅读 · 1 评论 -
论文笔记:Feature Pyramid Networks for Object Detection
目标检测论文 feature pyramid networks for object detection原创 2017-04-05 21:43:45 · 3699 阅读 · 0 评论 -
论文笔记:A neural algorithm of artistic style
自动生成符合自己想要的艺术风格的图片转载 2017-04-05 14:21:06 · 1096 阅读 · 0 评论 -
论文笔记: Fully Convolutional Networks for Semantic Segmentation
FCN首次应用原创 2017-03-22 17:38:40 · 1222 阅读 · 0 评论 -
论文笔记: Deep Residual Learning for Image Recognition
Residual Neural Network转载 2017-03-22 11:03:10 · 2173 阅读 · 0 评论 -
论文笔记:R-FCN: Object Detection via Region-based Fully Convolutional Network
R-FCN 笔记 不是解读哟原创 2017-03-21 16:04:03 · 1420 阅读 · 0 评论 -
代码阅读: style-transfer
style-transfer是把你的图片变成你想要风格的公开源码,是论文A Neural Algorithm of Artistic Style 的复现。原创 2017-04-06 11:06:29 · 1034 阅读 · 0 评论 -
偏差
摘自 《deep learning》原创 2018-03-05 22:06:06 · 310 阅读 · 0 评论