【deep learning学习笔记】注释yusugomori的SDA代码 -- 准备工作

1. SDA基本原理

其实是承接前面几篇博文，继续注释yusugomori的deep learning代码，注释到SDA了，顺便说一下基本原理。

SDA是stack denosing autoencoders的缩写。比起标准的DA（denosing autoencoders），主要区别在于：1. 多了一些隐含层——stack的含义；2. 最上一层是LR（logestic regresssion)，用softmax来计算每个类别的概率。每两个隐含层之间还是用标准DA的训练算法来训练。最后一层，用LR算法来训练。其时隐含层也可以用RBM来代替。RBM的基本原理与DA不同，不过作用是一样的，都是输入层的表示方式。

2. hidden layer

hidden layer和DA在代码中都是SDA的组件，在网络结构上，hidden layer和DA共享同样的网络结构。那为什么会声明两个东西呢（一个是hidden layer，一个是DA）？因为SDA中中要用到sample的过程（计算完概率之后，根据当前概率来进行贝努利实验，得到0-1输出），这个在DA的代码中没有（在RBM的代码中有）。其实如果单独写一个sample函数，也就没必要弄出一个hidden layer类出来。不过yusugomori的源代码中还有DNN，可能这样写方便DNN的实现吧。

3. HiddenLayer.h

头文件，如下：

class HiddenLayer 
{
public:
  	int N;			// the number of training samples
  	int n_in;		// the node number of input layer
  	int n_out;		// the node number of output layer
  	double **W;		// the network weights
  	double *b;		// the bias 
  	
  	// allocate memory and initialize the parameters
  	HiddenLayer (
	  	int, 		// N
	  	int, 		// n_in
	  	int, 		// n_out
	  	double**, 	// W
	  	double*		// b
		  );
  	~HiddenLayer();
  	// calculate the value of a certain node in hidden layer
  	double output (
	  	int*, 		// input value vector
	  	double*, 	// the network weight of the node in hidden layer
	  	double		// the bias of the node in hidden layer
		  );
	// sample the 0-1 state of hidden layer given the input
  	void sample_h_given_v (
	  	int*, 		// input value vector
	  	int*		// the output 0-1 state of hidden layesr
		  );
};

4. HiddenLayer的实现是在Sda.cpp中实现的，代码片段如下：

// HiddenLayer
HiddenLayer::HiddenLayer (
		int size, 			// N
		int in, 			// n_in
		int out, 			// n_out
		double **w, 		// W
		double *bp			// b
			) 
{
  	N = size;
  	n_in = in;
  	n_out = out;

  	if(w == NULL) 
  	{
  		// allocate memory for W
    	W = new double*[n_out];
    	for(int i=0; i<n_out; i++) 
			W[i] = new double[n_in];
		// the initial value
    	double a = 1.0 / n_in;
    	for(int i=0; i<n_out; i++) 
		{
      		for(int j=0; j<n_in; j++) 
 			{
        		W[i][j] = uniform(-a, a);
      		}
    	}
  	} 
  	else 
	{
    	W = w;
  	}

  	if(bp == NULL) 
  	{
    	b = new double[n_out];
    	memset (b, 0, sizeof(int));	// I add this to initialize b
  	} 
  	else 
  	{
    	b = bp;
  	}
}

HiddenLayer::~HiddenLayer() 
{
	// clear W and b
  	for(int i=0; i<n_out; i++) 
	  	delete W[i];
  	delete[] W;
  	delete[] b;
}

double HiddenLayer::output (
		int *input, 
		double *w, 
		double b
			) 
{
	// iterate all the input nodes and calcualte the output of the hidden node
  	double linear_output = 0.0;
  	for(int j=0; j<n_in; j++) 
  	{
    	linear_output += w[j] * input[j];
  	}
  	linear_output += b;
  	return sigmoid(linear_output);
}

void HiddenLayer::sample_h_given_v (
		int *input, 
		int *sample
			) 
{
  	for(int i=0; i<n_out; i++) 
  	{
  		// get the result of binomial test
    	sample[i] = binomial(1, output(input, W[i], b[i]));
  	}
}

5. 另外，SDA中还用到了LR、DA等。

他们的头文件注释参见我从前的博文，实现代码都放到了Sda.cpp中，和之前dA.cpp、LR.cpp对比，没有差别，只是简单的copy&paste。这些代码注释在这里也都不详细写了，有需要的请参考我前面的“【deep learning学习笔记】注释yusugomori的xxx代码”系列博文。