- 博客(6)
- 收藏
- 关注
RSS订阅原创 神经网络训练细节part1
神经网络的训练步骤。神经网络的理解激活函数的直接理解sigmod函数作为激活函数的第一个问题： 梯度弥散（因为如果到了饱和区域 则梯度趋近于0） 输出结果不关于零点对称 计算复杂度较高tan(h(x))作为激活函数的问题：学习率太高容易导致一种问题就是：容易使得某些神经元不会被数据集中任何数据所激活。这些神经元就像你整个...
2018-08-05 15:44:03
214
原创 SVM分类器中损失函数梯度求法及理解
一、损失函数的计算公式： s(j)表示该类别错误分类为其他类别的估计分数。s(y(i))表示该类别正确的估值分数。这是基础的概念。 上式还可以进一步表示为矩阵向量相乘的形式： ...
2018-06-02 20:42:15
4732
原创 反向传播与神经网络初步
反向传播分为正向和反向两部分。正向计算损失函数，然后反向计算出每一部分的梯度（链式求导法则）。链式求导法则是反向传播算法的理论基础。雅可比矩阵是一个二维矩阵雅可比仍然是特定大小的矩阵，但是却只是在对角线上有值。 神经网络初步：其中所经过的MAX函数代表的是nolinearity or action function(激活方程)，激活方程的种类有很...
2018-06-01 16:36:48
282
原创 线性分类器损失函数与最优化
SVM损失函数的定义：对于猫来说，期待中其他种类的预估评分不应该大于2.2，否则损失函数就不为0了。2.9则表示该结果不理想的程度。对每一张测试图片进行损失函数的计算之后得：平均损失函数对于不同的权重矩阵W可能都会使损失函数为零。那么如何确认矩阵W呢？（使用正则化）正则化是为了权衡你的训练损失和你用于测试集的泛化损失。所以正则化是一系列通过损失来使目标相加的技术。使得W满足某种形式。她可能会使得训...
2018-05-30 10:40:40
898
原创 python基础预备之SCIPY
Image operations提供图像操作from scipy.misc import imread, imsave, imresize# Read an JPEG image into a numpy arrayimg = imread('assets/cat.jpg')print(img.dtype, img.shape) # Prints "uint8 (400, 248, 3)...
2018-05-29 16:06:48
257
原创 李飞飞深度学习与计算机视觉公开课
今天开始学习李飞飞老师的公开课。希望可以顺利入门深度学习。一、k最近邻与线性分类器 k近邻分类器工作方式是高效的得到本联合训练集。
2018-05-29 14:37:54
2974
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人