多层感知机和神经网络的区别_多层感知机MLP异或门数据分类

1. 感知机与多层感知机

首先，要强调多层感知机的名字很容易让你觉得它是感知机，实际上除了网络结构上相较于感知机增加了隐藏层，其他方面跟感知机一毛钱关系也没有。

感知机的优化思想是缩小误分类点的个数，或者说是减少误分类点距离超平面的距离。

而多层感知机的优化思想完全是基于梯度下降法不断更新参数使损失函数减小。

2. 逻辑回归与多层感知机

同样，就是增加了一个隐藏层，我们看两者的模型图

3. 多层感知机核心

相较于单层线性分类模型，多层感知机通过添加隐藏层构造出非线性分类模型。

上代码

import numpy as np
from keras.models import Sequential
from keras.layers import Dense, Activation
from keras.optimizers import SGD

# 异或门训练数据
X = np.array([[0, 0],
               [0, 1],
               [1, 0],
               [1, 1]])
Y = np.array([0, 1, 1, 0])

model = Sequential()
# 输入层 - 隐藏层
model.add(Dense(input_dim=2, units=2))
model.add(Activation('sigmoid'))
# 隐藏层 - 输出层
model.add(Dense(units=1))
model.add(Activation('sigmoid'))
model.compile(loss='binary_crossentropy', optimizer=SGD(lr=1))
# 训练集实例数量=4，
# batch_size=4,
# 一个周期需要的批次数量n_train_batch=4/4=1,
# 周期数量=4000
# 训练需要的总迭代iteration次数=n_train_batch*epchos=4000*1=4000次
model.fit(X, Y, epochs=4000, batch_size=4)

classes = model.predict_classes(X)
prob = model.predict_proba(X)

print('classified:')
print(Y ==classes.flatten())
print()
print('output probability')
print(prob)

输出结果

classified:
[ True  True  True  True]

output probability
[[ 0.00256983]
 [ 0.99763155]
 [ 0.99647409]
 [ 0.0022248 ]]

代码解析

• Keras中不需要显示写出输入层
• 激活函数的数量=隐藏层数量+输出层数量
• 一个神经网络有多个激活函数，但只有一个损失函数
• 损失函数已经失去概率意义
• 参数更新速率lr不要设置的太小，对于我们这样的验证性实验只要设置为1就够了。通常取值有0.1，0.01，1
• 迭代次数计算

训练集实例数量=4，
batch_size=4,
一个周期需要的批次数量n_train_batch=4/4=1,
周期数量=4000
训练需要的总迭代iteration次数=n_train_batch*epchos=4000*1=4000次

• Dense层函数参数可以简化如下

# 两者等价
model.add(Dense(input_dim=2, units=2))
model.add(Dense(2,input_dim=2))

# 两者等价
model.add(Dense(units=1))
model.add(Dense(1))