softmax 的python实现
softmax的原理可以在很多地方看见,这里就不详述了。这份代码采用SGD得到theta,有点麻烦的就是梯度公式如何计算,我觉得这里讲的还比较详细
数据集
以前看过一本Neural Network and Deep Learning, 这里面的例子使用的是mnist,并且作者已经写好data_loader,于是我就直接用了作者的 data_loader.
数据是手写字的图片,使用
training_data, validation_data, test_data = mnist_loader.load_data()
即可load出数据,其中train_data,validation_data, test_data都是一个元组,每个元组包含两个list。以train_data为例,train_data的第一个list长度为50000,每个元素是一个长度为784的list,其实train_data[0] 就是一个50000 * 784 的矩阵,因为图片大小是28*28的,所以用784个元素表示一张图片;train_data[0]是一个长度为50000的list,每个元素是一个整数,代表相应图片中对应的数字。更多关于数据集的说明可以参看开头提到的那本NNDL。
cost function
cost function 就是对着斯坦福的softmax的讲义写的,不想细讲了
&