深度学习与图像识别:原理与实践 笔记Day_07

输出层

Softmax解决多分类问题

函数表达式为：

Vi表示的是分类器前级输出单元的输出，i表示类别索引，总的类别个数为C。Si表示的是当前元素的指数与所有元素的指数的比值。

代码实现为：

import numpy as np


def _softmax(x):
    exp_x = np.exp(x)
    return exp_x / np.sum(exp_x)

在这个公式中，我们使用数值较小的数据进行运算是没有问题的，但是当数值过大时，将会得到正无穷(inf)和负无穷两种结果(-inf)

因此，在实际应用中，还要对V进行数值处理：即V中的每个元素减去V中的最大值。

                                                                

                                                               

实现代码如下：

import numpy as np


def _softmax(x):
    D = np.max(x)
    exp_x = np.exp(x-D)
    return exp_x / np.sum(exp_x)

scores = np.array([123,456,789])
p = _softmax(scores)
print(p)

one-hotencoding(独热码)

简单来说就是有多少个状态就有多少个比特，而且只有一个比特为1，其他全为0.

{sex:{male, female, other}}
{grade: {一年级，二年级，三年级，四年级}}

此时对于输入{sex:male;grade:四年级}进行独热码编码，得到{1000001}

输出层的神经元个数

输出层的神经元数量应根据实际需要解决的问题来决定。对于分类问题，输出层的神经元个数一般会与类别的数量保持一致。

MNIST数据集的前向传播

1、读取数据集：

# MNIST dataset
train_dataset = dsets.MNIST(root='data',
                            train=True,
                            transform=transforms.ToTensor(),
                            download=True)
test_dataset = dsets.MNIST(root='data',
                           train=False,
                           transform=transforms.ToTensor(),
                           download=True)

2、初始化init_network函数，并设置一个weight_scale控制随机权重不要过大，将bias设置为1：

def init_netword():

    network={}    
    # numpy.random.randn(d0, d1, …, dn)是从标准正态分布中返回一个或多个样本值。 
    # 返回784行50列的样本值
    network['W1'] = np.random.randn(784，50)
    network['b1'] = np.ones(50)
    network['W2'] = np.random.randn(50，100)
    network['b2'] = np.ones(100)
    network['W3'] = np.random.randn(100，10)
    network['b3'] = np.ones(10)
    return network

3、实现forward函数，激活函数改用Relu(Relu计算速度更快):

def forward(network, x):
    w1, w2, w3 = network['W1'], network['W2'], network['W3']
    b1, b2, b3 = network['b1'], network['b2'], network['b3']
    a1 = x.dot(w1) + b1  # 此时矩阵为1*3
    z1 = _Relu(a1)
    a2 = z1.dot(w2) + b2  # 此时矩阵为1*2
    z2 = _Relu(a2)
    a3 = z2.dot(w3) + b3  # 此时矩阵为1*2
    y = a3
    return y

4、最终实现：

network = init_netword()
accuracy_cnt = 0
# 要参与运算所以要使矩阵大小相同
x = test_dataset.test_data.numpy().reshape(-1, 28 * 28)
# 不需要参与运算，只需使Tensor 转换成numpy
labels = test_dataset.test_labels.numpy()
for i in range(len(x)):
    y = forward(network, x[i])
    # 取最大值的索引，为了输出概率最大的预测值
    p = np.argmax(y)
    if p == labels[i]:
        accuracy_cnt += 1
print("Accuracy:" + str(float(accuracy_cnt) / len(x) * 100) + "%")

5、运行结果：