Zhang's Wikipedia

玩就玩大的

卷积操作中的矩阵乘法(gemm)—— 为什么矩阵乘法是深度学习的核心所在

1. 全连接 kk 个输入; nn 个神经元; 每个神经元都会学到一组权值向量,以和输入进行内积运算; nn 个输出; 2. 卷积卷积操作对于高维(多个平面)的输入,单个卷积核的深度应和输入的深度(depth)保持一致: 3 维卷积运算执行完毕,得一个 2 维的平面: 注,nn ...

2017-07-08 16:49:06

阅读数:6934

评论数:2

非极大值抑制(non-maximum suppression)的理解与实现

RCNN 和微软提出的 SPP_net 等著名的目标检测模型,在算法具体的实施过程中,一般都会用到 non-maximum suppress(非最大值抑制,抑制即忽略, 也即忽略那些值(IoU)高于提供的阈值的) 的机制。

2017-05-05 17:40:37

阅读数:10139

评论数:4

目标识别(object detection)中的 IoU(Intersection over Union)

首先直观上来看 IoU 的计算公式: 由上述图示可知,IoU 的计算综合考虑了交集和并集,如何使得 IoU 最大,需要满足,更大的重叠区域,更小的不重叠的区域。两个矩形窗格分别表示: 左上点、右下点的坐标联合标识了一块矩形区域(bounding box),因此计算两块 Over...

2017-05-04 23:51:10

阅读数:9058

评论数:1

GAN(Generative Adversarial Networks) 初步

首先需要指出的是生成式模型(generative models)和判别式模型(discriminative models)的区别: discriminative models:根据训练样本直接学习 p(y|x)p(y|x) generative models:首先学习特征向量与标签的联合概率分布 ...

2017-04-19 11:46:34

阅读数:442

评论数:0

Batch Normalization 反向传播(backpropagation )公式的推导

What does the gradient flowing through batch normalization looks like ?反向传播梯度下降权值参数更新公式的推导全依赖于复合函数求梯度时的链式法则。

2017-04-15 22:35:35

阅读数:3326

评论数:1

Batch Normalization

通过 Batch Normalization 的方式 normalize 神经网络层的输入,以解决的 internal covariate shift 问题。

2017-04-15 16:25:15

阅读数:364

评论数:0

从 BM 到 RBM

如下图示,在拓扑结构上,RBM(受限的玻尔兹曼机)与 BM(玻尔兹曼机)的最大区别在于: RBM 取消了可见层的层内连接以及隐含层的层内连接,主要在于 BM 的层内连接使得其学习过程相当耗时;DBN爬坑记之RBM

2017-04-03 23:19:56

阅读数:1965

评论数:0

GANs(生成对抗网络)初步

1. 基本思路首先定义一个简单的、常见的概率分布,将其表示为 pzp_z,不妨将其作为 [-1, 1] 上的均匀分布。z∼pzz\sim p_z 则表示从该分布中的一次采样过程。如果 pzp_z 是五维的话,则可通过如下语句实现:z = np.random.uniform(-1, 1, 5)

2017-03-17 12:22:04

阅读数:471

评论数:0

激励函数对比分析

1. 极性 sigmoid:单极性;单极性信号,就是或只有正信号,或只有负信号。 tanh:双极性;双极性信号,就是既有正信号,也有负信号。

2017-03-02 17:28:17

阅读数:1456

评论数:0

神经网络的理解

1. 模型的理解能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述和定义这种映射关系的数学方程。2. BP 反向传播BP:error Back Propagation,反向传播的是误差(d−od-o)3. 人工神经网络的拓扑结构 第一种网络会用在普通的 BP 神经网络,有可叫多层前馈...

2017-03-02 10:59:43

阅读数:515

评论数:0

机器学习/深度学习测试题(二)—— 单层线性神经网络求解异或问题

1. 输入样本的处理听起来似乎是一个比较奇怪的说法,不对输入做任何处理的话,是无法求解异或问题的。这里提供一种对输入进行处理的可行方式:对输入样本做必要的升维处理,其实质是引入非线性分量。如下图所示: X = [0, 0, 0; 0, 1, 1; 1, 0, 1; 1, 1, 0]; ...

2017-03-02 10:42:08

阅读数:1388

评论数:0

神经网络的 Delta 学习规则(learning rule)

1. δ\delta 学习规则1986 年,由认知心理学家 McClelland 和 Rumellhart 在神经网络训练中引入了 Δ\Delta 学习规则,该规则亦可称为连续感知器学习规则(与离散感知器学习规则相并行)。Δ\Delta 规则的学习信号规定为如下形式

2017-03-02 09:30:38

阅读数:7551

评论数:0

机器学习/深度学习测试题(一) —— 单层感知器的激活函数

问,更换单层感知器的激活函数(比如改为 tanh\tanh 函数),能否使模型具有解决非线性分类问题的能力。tanh(s)=exp(s)−exp(−s)exp(s)+exp(−s) \tanh(s)=\frac{\exp(s)-\exp(-s)}{\exp(s)+\exp(-s)} 可知,tanh...

2017-03-01 23:09:52

阅读数:921

评论数:0

深度学习实践指南(六)—— ReLU(前向和后向过程)

def relu_forward(x): out = x * (x > 0) # * 对于 np.ndarray 而言表示 handmard 积,x > 0 得到的 0和1 构成的矩阵 return out, x 传递回去的 x 作为反向传...

2017-02-17 10:37:57

阅读数:1680

评论数:0

深度学习的并行问题

1. weight sharing 通过指向同一内存地址来共享参数;因此可以极大地降低参数的规模; CNNs/RNNs 的核心构成;

2016-12-30 15:56:46

阅读数:483

评论数:0

从 RNN 到 LSTM (Short-Term Memory)

1. variant:GRU(gated recurrent unit)

2016-11-28 23:37:50

阅读数:565

评论数:0

theano 安装杂记

1. cuda https://developer.nvidia.com/cuda-downloads:选择合适的平台,环境以及版本; 2. .theanorc.txt 版本之一:[global]openmp = False[blas]ldflags =[gcc]cxxflags = -IC:\M...

2016-11-23 21:39:39

阅读数:304

评论数:0

深度学习(tensorflow+keras)性能问题

0. benchmark GitHub - pascanur/DeepLearningBenchmarks 1. CPU vs GPU 多层感知机网络,使用 SGD 优化算法,应用于手写字符识别问题; 784(28*28)的输入,500 个隐层,10 分类问题;

2016-11-23 18:15:30

阅读数:402

评论数:0

用 theano 求解 Logistic Regression (SGD 优化算法)

1. model这里待求解的是一个 binary logistic regression,它是一个分类模型,参数是权值矩阵 W和偏置向量 b。该模型所要估计的是概率 P(Y=1|x),简记为 pp,表示样本 x 属于类别 y=1y=1 的概

2016-11-22 13:09:12

阅读数:707

评论数:0

Linux 下非 root 用户安装 theano(配置 GPU)

非 root 用户,安装 Python 第三方的包,尤其像 theano,存在大量的依赖项,存在的主要问题,是安装各个包时的权限问题。所幸,存在这样一个集成工具,叫 anaconda,其已经内置了许多 Python 库,安装 theano 之前,只需安装 theano。

2016-11-19 17:47:06

阅读数:1193

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭