Neural network and deep learning阅读笔记（4）神经网络学习方式

完整的手写字符识别代码在最下。

Weight initialization

在第一章创建神经网络的时候，曾经对weight和biases进行过初始化，当时是使用了两个独立高斯随机变量（均值为0，标准差为1），这一节看看有没有更好的初始化方法。假设我们现在有一个神经网络有1000个输入神经元，输入层到第一层隐藏层的权重是高斯分布的，忽略其他的神经元，只考虑输入层到第一个神经元的权重：

假设我们的输入x一半为1，一半为0，考虑z=$\Sigma$_jw_jx_j+b，z是501项之和：500个输入为1的神经元的权重和一项偏置项。所以z的分布为均值为0，标准差为$\sqrt{501}$ $\approx$ 22.4：

从图中看出z绝对值可能远远大于1，所以sigmoid函数会非常接近1或者0，神经元达到饱和，出现了learning slowdown的问题。由于正态分布太散了，我们尝试把它“挤压”一下，神经元输入权重标准差改为1/$\sqrt{n}$，n就是这个神经元的输入权重个数，也可以用n_in表示。bias与之前一样。

嘿嘿嘿发出目的得逞的笑声~这个时候标准差只有大概1.22，就不容易饱和啦。

继续之前的神经网络，Network[784, 30, 10]【应该都熟悉了吧】，SGD(training_data, 30, 10, 0.1, lmbda = 5.0)，学习率从0.5缓慢的降到0.1。可以看到正确率快了很多：

Handwriting recognition revisited

把之前的所有想法（阅读笔记(3)和(4)中的想法）用代码实现一下~在network2.py中

class Network(object):
	def __init__(self, sizes, cost=CrossEntropyCost):
		self.num_layers = len(sizes)
		self.sizes = sizes
		self.default_weight_initializer()
		self.cost=cost

后两行是新加的，首先解释一下default_weight_initializer()

def default_weight_initializer(self):
	self.biases = [np.random.randn(y, 1) for y in self.sizes[1:]]
	self.weights = [np.random.randn(y, x)/np.sqrt(x) for x, y in zip(self.sizes[:-1], self.sizes[1:])]

注意到在bias的时候，我们并没有对第一层神经元初始化任何bias，因为第一层是输入层，所以不会用到bias。除了这个方法，我们还有一个large_weight_initializer方法，使用了第一章的方法：weights&bias分布为N(0,1)

def large_weight_initializer(self):
	self.biases = [np.random.randn(y, 1) for y in self.sizes[1:]]
	self.weights = [np.random.randn(y, x) for x, y in zip(self.sizes[:-1], self.sizes[1:])]

第二个在Network中的改变是，我们初始化了cost，首先看一下交叉熵损失的定义：

class CrossEntropyCost(object):
	@staticmethod
	def fn(a, y):
		return np.sum(np.nan_to_num(-y*np.log(a)-(1-y)*np.log(1-a)))
	
	@staticmethod
	def delta(z, a, y):
		return (a-y)

作者选择将交叉熵损失定义成一个类而不是一个函数，是因为损失函数除了衡量实际输出和理想输出之间的差距（CrossEntropyCost.fn），在第二章中后向传播算法还需要我们计算输出误差$\delta$^L，不同的损失函数计算出来是不一样的，对于交叉熵损失函数，之前说过误差为：

这是CrossEntropyCost.delta的作用。对比一下quadratic cost function：

class QuadraticCost(object):
	@staticmethod
	def fn(a, y):
		return 0.5*np.linalg.norm(a-y)*np.linalg.norm