帮助初学者理解什么是神经网络。使用Python从头实现一个神经网络来理解神经网络的原理,分为上中下三章。1-3会在上章介绍,4-8会在中章介绍。
-
神经网络的基本结构——神经元;
-
在神经元中使用S型激活函数;
-
神经网络就是连接在一起的神经元;
-
构建一个数据集,输入(或特征)是体重和身高,输出(或标签)是性别;
-
学习损失函数;
-
训练网络就是最小化其损失;
-
用反向传播方法计算偏导;
-
随机梯度下降法训练网络;
1.神经网络的基本结构——神经元
首先让我们看看神经网络的基本单位,神经元。神经元接受输入,对其做一些数据操作,然后产生输出。例如,这是一个2输入神经元:
这里发生了三个事情。首先,每个输入都跟一个权重相乘(红色):
然后,加权后的输入求和,加上一个偏差b(绿色):
最后,这个结果传递给一个激活函数f:
激活函数的用途是将一个无边界的输入,转变成一个可预测的形式。常用的激活函数就就是S型函数
2.激活函数
S型函数的值域是(0, 1)。简单来说,就是把(−∞, +∞)压缩到(0, 1) ,很大的负数约等于0,很大的正数约等于1。常见激活函数有sigmod等等。
举个例子:
假设我们有一个神经元,激活函数就是S型函数,其参数如下:w=[0,1],b=4
w=[0,1]就是以向量的形式表示。现在,我们给这个神经元一个输入x=[2,3]。我们用点积来表示:
当输入是[2, 3]时,这个神经元的输出是0.999。给定输入,得到输出的过程被称为前馈(feedforward)。
让我们来实现一个神经元,用Python的NumPy库来完成其中的数学计算:
import numpy as np
def sigmoid(x):
# 我们的激活函数: f(x) = 1 / (1 + e^(-x))
return 1 / (1 + np.exp(-x))
class Neuron:
def __init__(self, weights, bias):
self.weights = weights
self.bias = bias
def feedforward(self, inputs):
# 加权输入,加入偏置,然后使用激活函数
total = np.dot(self.weights, inputs) + self.bias
return sigmoid(total)
weights = np.array([0, 1]) # w1 = 0, w2 = 1
bias = 4 # b = 4
n = Neuron(weights, bias)
x = np.array([2, 3]) # x1 = 2, x2 = 3
print(n.feedforward(x)) # 0.9990889488055994
3.神经网络
所谓的神经网络就是一堆神经元。这就是一个简单的神经网络:
这个网络有两个输入,一个有两个神经元(h1 和h2)的隐藏层,以及一个有一个神经元(o1 )的输出层。要注意,o1的输入就是h1和h2的输出,这样就组成了一个网络。隐藏层可以是多层的。
我们继续用前面图中的网络,假设每个神经元的权重都是w=[0,1] ,截距项也相同b=0,激活函数也都是S型函数。分别用h1,h2表示相应的神经元的输出。
当输入x=[2,3]时,会得到什么结果?
这个神经网络对输入的输出是0.7216,很简单。
一个神经网络的层数以及每一层中的神经元数量都是任意的。基本逻辑都一样:输入在神经网络中向前传输,最终得到输出。接下来,我们会继续使用前面的这个网络。
接下来我们实现这个神经网络的前馈机制,还是这个图:
import numpy as np
# ... code from previous section here
class OurNeuralNetwork:
'''
A neural network with:
- 2 inputs
- a hidden layer with 2 neurons (h1, h2)
- an output layer with 1 neuron (o1)
Each neuron has the same weights and bias:
- w = [0, 1]
- b = 0
'''
def __init__(self):
weights = np.array([0, 1])
bias = 0
# 这里是来自前一节的神经元类
self.h1 = Neuron(weights, bias)
self.h2 = Neuron(weights, bias)
self.o1 = Neuron(weights, bias)
def feedforward(self, x):
out_h1 = self.h1.feedforward(x)
out_h2 = self.h2.feedforward(x)
# o1的输入是h1和h2的输出
out_o1 = self.o1.feedforward(np.array([out_h1, out_h2]))
return out_o1
network = OurNeuralNetwork()
x = np.array([2, 3])
print(network.feedforward(x)) # 0.7216325609518421
结果正确。