- 博客(22)
- 资源 (10)
- 收藏
- 关注
RSS订阅转载 数据结构与算法之双向链表
http://blog.csdn.net/as02446418/article/details/47114711public class DoubleLinkedList { // 节点类Node private static class Node { Object value; Node prev = this; Node next = this...
2018-03-31 19:27:38
115
转载 面试常见算法之二叉树
转载：https://blog.csdn.net/startupmount/article/details/39500055一，定义一个节点类：[java] view plain copy package test; public class Node { private int data; private Node left; private...
2018-03-31 18:27:02
101
原创 池化层的反向传播算法
无论max pooling还是mean pooling，都没有需要学习的参数。因此，在卷积神经网络的训练中，Pooling层需要做的仅仅是将误差项传递到上一层，而没有梯度的计算。（1）max pooling层：对于max pooling，下一层的误差项的值会原封不动的传递到上一层对应区块中的最大值所对应的神经元，而其他神经元的误差项的值都是0；（2）mean pooling层：对于mean poo...
2018-03-31 14:44:51
5723
1
原创 tf.nn.conv2d与tf.nn.max_pool介绍
tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None)介绍参数：input：指卷积需要输入的参数，具有这样的shape[batch, in_height, in_width, in_channels]，分别是[batch张图片, 每张图片高度为in_height, 每张图片宽度为in_width...
2018-03-31 13:48:50
464
转载 深度学习中激活函数的作用
0、从深度学习开始说起今天检索多标签分本分类的文献时，遇到一个关于激活函数的疑惑：如果有大牛看到，知道如何更好的理解这句话的含义，希望在评论里解惑！由惑而生，所以我打算总结一下深度学习模型中常用的激活函数的一些特性，方便大家日后为模型选择合适的激活函数。 说到激活函数，就不能不提神经网络或者深度学习，从一个新手入门深度学习领域，我觉得首先需要理解三个基本的构成要素：我把理解激活函数作为深度学习入...
2018-03-29 21:35:08
10339
2
转载 Batch Normalization
1. What is BN?顾名思义，batch normalization嘛，就是“批规范化”咯。Google在ICML文中描述的非常清晰，即在每次SGD时，通过mini-batch来对相应的activation做规范化操作，使得结果（输出信号各个维度）的均值为0，方差为1. 而最后的“scale and shift”操作则是为了让因训练所需而“刻意”加入的BN能够有可能还原最初的输入（即当），...
2018-03-29 21:18:43
280
原创 权重初始化
深度学习的初始化主要有以下方法：1.高斯分布：在tensorflow中代码如下所示：w = tf.Variable(tf.random_normal(shape, stddev=0.01))w = tf.Variable(np.random.randn())看上去都是随机生成符合正态分布的值，但是实际上tf.random_normal(shape, stddev=0.01) 是从正态分布中返回符合...
2018-03-28 23:01:22
5165
转载 GBDT-梯度提升决策树
综述GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。 GBDT中的树是回归树（不是分类树），GBDT用来做回归预测，调整后也可以用于分类。 GBD...
2018-03-28 10:02:49
243
原创 深度学习的输入数据集为什么要做均值化处理
一直不明白，在处理一些输入数据的时候为什么要减去均值。今天看了斯坦福大学的cs231n深度学习课程，其中在激活函数一章讲到：Consider what happens when the input to a neuron is always positive...根据求导的链式法则，w的局部梯度是X，当X全为正时，由反向传播传下来的梯度乘以X后不会改变方向，要么为正数要么为负数，也就是说w权重的更...
2018-03-27 20:26:01
7222
转载 矩阵求导
这几天由于用到矩阵求导相关的知识，但是自己没有学过矩阵论(研究生选课的时候，导师没有让选)，于是百度了下，觉得完整的相关资料不多，还好发现了下面的这篇博客，给我了很大的帮助！仔细分析了下博客中的内容，其实矩阵求导也是挺好理解的(估计是我有较好的MATLAB使用基础吧)，下面看帖吧，哈哈！！矩阵求导 属于 矩阵计算，应该查找 Matrix Calculus 的文献：http://www.psi.to...
2018-03-25 21:41:01
441
转载 反向传播算法的推导
一、反向传播的由来在我们开始DL的研究之前，需要把ANN—人工神经元网络以及bp算法做一个简单解释。关于ANN的结构，我不再多说，网上有大量的学习资料，主要就是搞清一些名词：输入层/输入神经元，输出层/输出神经元，隐层/隐层神经元，权值，偏置，激活函数接下来我们需要知道ANN是怎么训练的，假设ANN网络已经搭建好了，在所有应用问题中（不管是网络结构，训练手段如何变化）我们的目标是不会变的，那就是网...
2018-03-25 21:35:08
494
原创 加拿大银行首席分析师对吴恩达深度学习课程的领悟心得
吴恩达先生（Andrew Ng）的3门课程都超级有用，教会了我许多实用的知识。吴教授擅长过滤掉流行词汇，用一种清晰简洁的方式解释了一切。比如他阐明了监督式深度学习（supervised deep learning）只不过是一个多维的曲线拟合程序，而其他任何具有代表性的理解，如人类神经系统的通用参照，则有些太过玄乎了。官方介绍说只需要有一些基本的线性代数和Python编程知识就可以听懂这些课程。然而...
2018-03-24 22:33:43
205
原创 numpy的广播机制
广播原则：如果两个数组的后缘维度(即：从末尾开始算起的维度)的轴长相符或其中一方的长度为1，则认为它们是广播兼容的，广播会在缺失和(或)长度为1的轴上进行....
2018-03-24 22:25:46
248
转载 给深度学习入门者的Python快速教程 - numpy和Matplotlib篇
numpy(Numerical Python extensions)是一个第三方的Python包，用于科学计算。这个库的前身是1995年就开始开发的一个用于数组运算的库。经过了长时间的发展，基本上成了绝大部分Python科学计算的基础包，当然也包括所有提供Python接口的深度学习框架。numpy在Linux下的安装已经在5.1.2中作为例子讲过，Windows下也可以通过pip，或者到下面网址下...
2018-03-24 22:24:28
205
转载 Logistic代码实战
转载过程中，图片丢失，代码显示错乱。为了更好的学习内容，请访问原创版本：http://www.missshi.cn/api/view/blog/59aa08fee519f50d04000170Ps：初次访问由于js文件较大，请耐心等候（8s左右）本节课中，我们将学习如何利用Python的来Logistic。这是第一节Python代码内容，接下来我们将从一些基本的Python编程开始讲述。 本文中的...
2018-03-24 21:50:27
1039
原创 梯度爆炸与梯度消失的原因以及解决方法，局部极小值问题以及学习率问题（对SGD的改进）
梯度爆炸与梯度消失的原因：简单地说，根据链式法则，如果每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话（ ），那么即使这个结果是0.99，在经过足够多层传播之后，误差对输入层的偏导会趋于0（ ）。下面是数学推导推导。假设网络输出层中的第 个神经元输出为，而要学习的目标为 。这里的 表示时序，与输入无关，可以理解为网络的第 层。若采用平方误差作为损失函数，第 个输出神经元对应的损失为 将损...
2018-03-24 13:26:15
14276
1
原创 softmax分类器
softmax的输出（归一化的分类概率）损失函数：交叉熵损失（cross-entropy loss）其输入值是一个向量，向量中元素为任意实数的评分值输出一个向量，其中每个元素值在0到1之间，且所有元素之和为1...
2018-03-24 11:33:44
966
转载 分类模型评估之ROC-AUC
ROC曲线和AUCROC（Receiver Operating Characteristic，接受者工作特征曲线）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣。博文介绍ROC和AUC的特点，讨论如何作出ROC曲线图以及计算AUC。AUC是现在分类模型，特别是二分类模型使用的主要离线评测指标之一。相比于准确率、召回率、F1等指标，AUC有一个独特的优势，就是不关...
2018-03-23 22:32:55
9555
1
原创 超参数与交叉验证
cross-validation on k。上图是当k=5时，即将训练集分成5份，用其中的4份训练，剩下的一份用来验证，直到5份都作为一遍验证集。这样可以平抑掉数据异常的验证集。...
2018-03-23 22:19:00
993
原创 k近邻算法
对于未知类别的数据点：计算数据集中每个数据点的距离（距离是有定义和特性的，比如对称性，满足三角不等式）；找出距离输入的数据点最近的K个数据；统计第2步中得到的数据集中的数据类型及概率；选取概率最大的类别作为该输入数据的属性归属。K近邻算法是一种懒惰学习方法，即不需要经过训练。其时间复杂度与数据的个数成正比。K近邻算法的缺点：问题：该算法在分类时有个主要的不足是，当样本不平衡时，如一个类的样本容量很...
2018-03-22 21:41:21
194
原创 正则化方法：L1和L2 regularization、数据集扩增、dropout
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐...
2018-03-22 20:14:56
187
Yoshua Bengio报告 深度学习挑战人脑
2018-11-09
视觉slam14讲
2018-05-21
David Silver强化学习（reinforcement learning）课程PPT
2018-05-10
Reinforcement Learning: An Introduction (2nd Edition)
2018-05-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人