2015年12月_Michael_Shentu

12月 11月 10月 09月 08月 02月 01月

原创神经网络中的BPTT算法简单介绍

首先来看下RNN的一个循环网络结构图：RNN（Recurrent Neural Network）在时间维度上，我们将RNN进行展开，以便能够更好地来观察：主要的参数就是三部分：在RNN中每一个时间步骤用到的参数都是一样的，要理解清楚的是：一般来说，每一时间的输入和输出是不一样的，比如对于序列数据就是将序列项依次传入，每个序列项再对应不同的输出（比如下一个

2015-12-29 17:24:37 18160 1

原创 PCA原理介绍

PCA理论基础要解释为什么协方差矩阵的特征向量就是k维理想特征，我看到的有三个理论：分别是最大方差理论、最小错误理论和坐标轴相关度理论。这里简单探讨前两种，最后一种在讨论PCA意义时简单概述。3.1 最大方差理论在信号处理中认为信号具有较大的方差，噪声有较小的方差，信噪比就是信号与噪声的方差比，越大越好。如前面的图，样本在横轴上的投影方差较大，在纵轴上的

2015-12-26 22:38:22 1397

原创空间向量投影的一些整理

首先来看一个向量在另一个向量上的投影：若v向量为单位向量,则结果为 uv向量的点积 * v向量.即: 某个方向力u, 在v方向上的分量.假如V向量我们定义为单位向量，那么U向量在V向量上的投影向量就是UV向量的点积 * V向量，这样表示U向量在V向量方向上的分量，也是一个向量，点积值表示在V向量上的投影长度。因此空间中有N个向量，分别投影

2015-12-26 16:49:09 24537 1

原创神经网络中与BP传播算法

BPNN人工神经网络我们知道，人的脑袋具有很强的学习、记忆、联想等功能，虽然人类还没有完全搞明白人类的大脑，但是我们已经知道它的基本单位就是一个个神经元，即一个神经细胞，人的神级细胞个数大约为1011个，海兔大约为2000多个，数目越多就越复杂，处理信息的能力就越强。如下图所示，每个神经元由细胞体与突起构成，细胞体的结构与一般的细胞相似，包括细胞膜，细胞质与细胞核，突起是神经元

2015-12-25 14:10:16 9371 1

转载 BP 神经网络反向传播算法

经典的BP网络，其具体结构如下：请特别注意上面这个图的一些符号说明如下：二. 学习算法 1. 信号的前向传递过程请特别注意上述公式中的下标，这里，权值矩阵包含了神经元节点本身的偏置，所以权值矩阵多了一列。

2015-12-24 10:30:22 2627

原创梯度方向导数偏导数的一些整理

方向导数与梯度之间的关系：方向导数是函数沿各个方向的导数，梯度是一个向量，因此梯度本身是有方向的：1、函数在梯度这个方向的方向导数是最大的，换句话说，一个函数在各个方向都有方向导数，其中梯度这个方向的导数为最大；2、函数方向导数的最大值为梯度的模。方向导数是一个标量，对隐函数在某点处求得对各个自变量的偏导数后，乘以某个方向上的各个角度的投影角度值，得到该点在这个方向

2015-12-23 10:07:04 9464 1

转载 storm中的ack机制

我们知道storm一个很重要的特性是它能够保证你发出的每条消息都会被完整处理，完整处理的意思是指：一个tuple被完全处理的意思是：这个tuple以及由这个tuple所导致的所有的tuple都被成功处理。而一个tuple会被认为处理失败了如果这个消息在timeout所指定的时间内没有成功处理。也就是说对于任何一个spout-tuple以及它的所有子孙到底处理成功失败与否

2015-12-17 10:02:39 3957

原创 storm中的可靠性机制

我们知道Storm有一个很重要的特性，那就是Storm API能够保证它的一个Tuple能够被完全处理，这一点尤为重要，其实storm中的可靠性是由spout和bolt组件共同完成的，下面就从spout和bolt两个方便给大家介绍一下storm中的可靠性，最后会给出一个实现了可靠性的例子。1.Spout的可靠性保证在Storm中，消息处理可靠性从Spout开始的。stor

2015-12-17 10:01:31 2119 1

原创 storm中消息安全机制，如何保证消息在传输中不丢失

storm保证从spout发出的每个tuple都会被完全处理。这篇文章介绍storm是怎么做到这个保证的，以及我们使用者怎么做才能充分利用storm的可靠性特点。一个tuple被”完全处理”是什么意思？就如同蝴蝶效应一样，从spout发射的一个tuple可以引起其它成千上万个tuple因它而产生，想想那个计算一篇文章中每个单词出现次数的topology.帮助

2015-12-17 09:57:35 2289