qq_43131605的博客

Chapter1使用神经网络来识别手写数字：1.6实现数字分类的网络神经网络代码的核心是一个Network类，如下是我们用来初始化一个Network对象的代码:class Network(object): def __init__(self, sizes): self.num_layers = len(sizes) self.sizes = sizes self.biases = [np.random.randn(y, 1) for y in

神经网络应用于MNIST数据手写数字识别加载MNIST数据，用下面所描述的一小段辅助程序mnist_loader.py来完成。用于存储MNIST数据的数据结构在文档字符串中进行了描述-它是简单的内容、元组和Numpy ndarray对象的列表（如果您不熟悉ndarray，可以将它们看作向量）："""mnist_loader\~~~~~~~~~~~~A library to load the MNIST image data. For details of the datastructures

损失函数改进：交叉熵函数将损失函数有之前>>> import mnist_loader>>> training_data, validation_data, test_data = \... mnist_loader.load_data_wrapper()>>> import network2>>> net = network2.Network([784, 30, 10], cost=network2.CrossEntrop

如何选择神经网络的超参数在之前的实验中我们靠运气选择了一些参数设置：30个隐层，小批量数据大小为10，迭代训练30轮，使用交叉熵损失函数。但是，在使用学习速率=10.0而规范化参数 =1000.0，我们的一个运行结果如下：>>> import mnist_loader>>> training_data, validation_data, test_data = \... mnist_loader.load_data_wrapper()>>>

已经明白了卷积神经网络后面的核心思想，想要通过实现一些卷积网络，并将它们应用于 MNIST 数字分类问题，来看看它们如何在实践中工作。使用的程序是 network3.py，它是前面章节开发的 network.py 和 network2.py 的强化版本。程序 network.py 和 network2.py 是用 Python 和矩阵库 Numpy 实现的。这些程序从最初的原理工作，并致力于反向传播、随即梯度下降等细节。 network3.py 使用一个称为 Theano 的机器学习库[1]。使用 The

和 network.py 一样，主要部分就是 Network 类了，用这个来表示神经网络。使用一个 sizes 的列表来对每个对应层进行初始化，默认使用交叉熵作为代价 cost 参数：class Network(object): def __init__(self, sizes, cost=CrossEntropyCost): self.num_layers = len(sizes) self.sizes = sizes self.default_

卷积网络代码network3.py整体看来，程序结构类似于 network2.py，尽管细节有差异，因为我们使用了 Theano。FullyConnectedLayer 类首先我们来看 FullyConnectedLayer 类，这类似于我们之前讨论的那些神经网络层。下面是代码：class FullyConnectedLayer(object): def __init__(self, n_in, n_out, activation_fn=sigmoid, p_dropout=0.0):