- 博客(3)
- 收藏
- 关注
RSS订阅原创 【机器学习】softmax函数总结
原本以为softmax函数求导没啥难度的，结果自己写CNN的时候，梯度算的一直不对，查了半天才发现是因为softmax求导没求对。索性就开一篇Blog把softmax相关的都给记录一下。softmax的定义softmax函数如下： aLj=ezLj∑kezLka_j^L = \frac{e^{z_j^L}}{\sum_k e^{z_k^L}} 其可以看成sigmoid函数在多元分布中的一个推广
2017-05-25 21:13:16
17980
原创 CNN中的梯度的求法和反向传播过程
写这个起因是前段时间面试的时候被问到了CNN中反向传播该怎么求，我说直接算就好了呀，面试官让我下来再看看。之后问了下舍友，舍友说需要去把卷积核旋转180°来反向传播，然后我就赶紧查了下相关资料，发现还是非常interesting的。【不过这种本质上还是链式法则直接求的结果，只是形式上会比较tricky】卷积神经网络（Convolutional Neural Network）关于卷积神经网络的相关介
2017-05-22 22:35:00
13772
1
原创 再生核希尔伯特空间（RKHS）和核函数
之前看SVM核函数相关的问题，总是会碰到再生核希尔伯特空间（Reproducing Kernel Hilbert Space, RKHS）不过一直没有太仔细了解过到底是指的什么，前几天研究了一下。希尔伯特空间先来说一下什么是希尔伯特空间。 这个概念听起来高大上，其实是个非常简单的概念。 先说什么是线性空间线性空间线性空间即定义了数乘和加法的空间。这个就是具有线性结构的空间。 有了线性空间的概
2017-05-15 17:48:51
45074
14
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人