手写一个二层的神经网络

# 手写一个两层的神经网络

import numpy as np

x = np.array([[0,0,1],[0,1,1],[1,0,1],[1,1,1],[0,0,1]])
y = np.array([[0],[1],[1],[1],[0]])


# 定义sigmoid函数
def sigmoid(x,deriv = False):
    if deriv == True:   # 导数为deriv==True
        return x*(1-x)
    else:
        return 1/(1+np.exp(-x))

np.random.seed(1)

#初始化权重参数
w0 = np.random.randn(3,4)  # 第一层的
w1 = np.random.randn(4,1)  # 第二层的

# 循环迭代
for j in range(60000):
    l0 = x
    l1 = sigmoid(np.dot(l0, w0))
    l2 = sigmoid(np.dot(l1, w1))
    l2_error = y - l2                                       # 前4行进行前向传播

    if j % 10000 == 0:
        print('loss'+':' + str(np.mean(np.abs(l2_error))))     # 每1万次打印一次

    l2_delta = l2_error * sigmoid(l2, deriv=True)
    l1_error = l2_delta.dot(w1.T)
    l1_delta = l1_error * sigmoid(l1, deriv=True)           # 反向传播

    w1 += l1.T.dot(l2_delta)
    w0 += l0.T.dot(l1_delta)                                # 超参更新