7-初识Keras：轻松完成神经网络模型搭建

声明

本文章基于哔哩哔哩付费课程《小白也能听懂的人工智能原理》。仅供学习记录、分享，严禁他用！！如有侵权，请联系删除

目录

一、知识引入

（一）矩阵和向量

1、向量

2、矩阵

（二）Keras框架

1、Keras实现一个神经元

2、存在的问题

二、编程实验1--向量和矩阵构建神经元

（一）编写预测模型-向量版

（二）前向传播--向量版

（三）反向传播--向量版

 （四）绘图

三、编程实验2--使用Keras实现学过的神经网络模型

（一）输入数据特征维度为1，仅使用激活函数激活，区间0,1表示有毒/无毒概率的数据集

1、使用Keras搭建神经网络

2、模型训练

3、模型预测

4、绘图

（二）加入隐藏层，使得函数富有多样的单调性

1、修改为2个神经元（隐藏层），并添加输出层神经元

2、调整学习率

3、绘图

（三）两个特征维度的输入数据，简单的线性可分情况

1、指定输入数据维度2，单神经元

2、绘制三维空间图形 

（四）两个特征维度的输入数据，加入隐藏层，扭曲预测曲面和分割线

1、指定输入数据维度2，修改为2个神经元（隐藏层），并添加输出层神经元

2、绘制三维空间图形

---

一、知识引入

（一）矩阵和向量

1、向量

        用三元一次函数（z = w1x1 + w2x2 + w3x3 + b）举例，用一个向量把函数的自变量放入其中、再把权重系数放入另一个向量中、偏置项系数b也放入一个向量中。

        定义向量的转置（T）

        定义向量间的乘法，点乘：对应元素相乘再相加

        加上偏置向量b

        对于一个1000元函数来说：

        向量元素的数量，也叫做维度。

        输入、权重参数、偏置项都看作是向量。

2、矩阵

        如果输入数据送入的是一组函数进行运算，比如加入隐藏层神经元的神经网络。

        每一个函数都有一个权重系数向量和偏置系数向量

        将函数的权重系数向量放在一起、偏置向量也放在一起，形成矩阵

        可以把矩阵看作是：由多个向量并在一起形成的“特殊向量”。矩阵的转置，也就可以看作是对其中每一个向量的转置

        再让输入x点乘权重系数矩阵。分别让输入向量x点乘第一列计算出第一个结果，再让输入向量x点乘第二列计算出第二个结果，两个计算结果组成结果向量。

        再加入偏置向量b

        对于多个函数，仍然可以使用z = x * wt + b表示

（二）Keras框架

        就像机器学习中的高级语言，实现了对机器学习神经网络底层复杂的数学运算的封装。可以轻松地通过它提供的各种上层接口搭建模型。

1、Keras实现一个神经元

# 导入keras
from keras.models import Sequential

# 创建模型
model = Sequential()
# 创建一个神经元，使用sigmoid激活函数
# units表示神经元数量，当前隐藏层神经元数量为2
model.add(Dense(units = 2, activation = 'sigmoid', input_dim = 1))
# 创建一个输出层神经元，使用sigmoid激活函数
model.add(Dense(units = 1, activation = 'sigmoid'))
# 告诉keras使用均方误差代价函数 和 随机梯度下降算法（sgd）
model.compile(loss = 'mean_squared_error',
              optimizer = 'sgd',
              metrics = ['accuracy'])

# 开始训练
model.fit(x_train, y_train, epochs = 5, batch_size = 32)

2、存在的问题

• Kears并不是独立存在的框架，需要通过调用诸如TensorFlow，CNTK 等独立框架实现

• 封装的过于好，并没有像更加底层的TensorFlow框架那样灵活

• 高度封装化，流失了对具体细节的控制

二、编程实验1--向量和矩阵构建神经元

（一）编写预测模型--向量版

# 编写预测模型
# 因为有2个树突，所以输入和神经元之间有2个权重参数
W = np.array([0.1, 0.1])
B = np.array([0.1])

（二）前向传播--向量版

# 编写前向传播代码
# 参数X同时包含豆豆的两个特征维度数据
def forward_propagation(X):
    # 向量运算
    # ndarray的dot函数：点乘运算（相乘再相加）
    # ndarray的T属性：转置运算
    Z = X.dot(W.T) + B
    # exp操作也有广播机制，让此运算发生在每个元素上，1除以它们，依旧是广播效果
    # 最终结果仍旧是一个向量
    # Z：[w1x11 + w2x12 + b]
    # 结果A也是一个单元素的向量
    A = 1 / (1 + np.exp(-Z))
    return A

（三）反向传播--向量版

for _ in range(5000):
    for i in range(num):
        # 一行两列，表示一个豆豆的大小和深浅的数据特征
        Xi = X[i]
        Yi = Y[i]
        # 最终返回的A向量，也就一行一列
        A = forward_propagation(Xi)
        # A是一行一列，Y是一个数子，也就是一行一列
        # 误差e结果仍然为一行一列
        E = (Yi - A)**2

        # 一行一列
        dEdA = -2 * (Yi - A)
        # 一行一列
        dAdZ = A * (1 - A)
        # 一行两列
        dZdW = Xi
        # 一行一列
        dZdB = 1

        # 链式求导
        # 一行两列，恰好表示误差在这个两个权重系数上的导数
        dEdW = dEdA * dAdZ * dZdW
        dEdB = dEdA * dAdZ * dZdW

        alpha = 0.01
        W = W - alpha * dEdW
        B = B - alpha * dEdB

 （四）绘图

plot_utils.show_scatter_surface(X, Y, forward_propgation)

三、编程实验2--使用Keras实现学过的神经网络模型

（一）输入数据特征维度为1，仅使用激活函数激活，区间0,1表示有毒/无毒概率的数据集

1、使用Keras搭建神经网络

• units表示这一层有几个神经元

• activation表示指定的激活函数类型

• input_dim输入数据的特征维度，此处只有豆豆的大小这1个特征

• loss均方误差代价函数，损失函数和代价函数一般都认为是同一种东西

• optimizer优化器：用来优化 or 调整参数的算法，sgd：随机梯度下降算法

• metrics：训练时希望得到的评估标准，accuracy准确度

# 使用Keras搭建神经网络模型
# 创建一个Sequential，将神经元堆叠在一起组成一个网络预测模型
model = Sequential()
# 创建全连接层
# 指定参数，units表示这一层有几个神经元；activation表示指定的激活函数类型
# input_dim输入数据的特征维度，此处只有豆豆的大小这1个特征
dense = Dense(units=1, activation='sigmoid', input_dim=1)
# 将全连接层Dense堆叠到序列上
model.add(dense)
# 配置模型
# 均方误差代价函数，损失函数和代价函数一般都认为是同一种东西
model.compile(loss='mean_squared_error',
              # 优化器：用来优化 or 调整参数的算法，sgd：随机梯度下降算法
              optimizer='sgd',
              # metrics：训练时希望得到的评估标准，accuracy准确度
              metrics=['accuracy'])

2、模型训练

• epochs训练的回合数，在全体样本完成一次训练称为一个回合

• batch_size每一次训练使用的样本数量

# 开始训练
# epochs训练的回合数，在全体样本完成一次训练称为一个回合
# 每一次训练使用的样本数量batch_size
model.fit(X, Y, epochs=5000, batch_size=10)

3、模型预测

# 对训练好的模型进行预测
pres = model.predict(X)

4、绘图

# 同时绘制散点图和预测曲线
plot_utils.show_scatter_curve(X, Y, pres)

（二）加入隐藏层，使得函数富有多样的单调性

1、修改为2个神经元（隐藏层），并添加输出层神经元

# 指定参数，units表示这一层有几个神经元；activation表示指定的激活函数类型
# input_dim输入数据的特征维度，此处只有豆豆的大小这1个特征
dense = Dense(units=2, activation='sigmoid', input_dim=1)
# 输出层的神经元
dense2 = Dense(units=1, activation='sigmoid')
# 将全连接层Dense堆叠到序列上
model.add(dense)
model.add(dense2)

2、调整学习率

model.compile(loss='mean_squared_error',
              # SGD优化器默认学习率为0.01，我们使用创建对象的方式，设定其学习率为0.05
              optimizer=SGD(lr=0.05),
              # metrics：训练时希望得到的评估标准，accuracy准确度
              metrics=['accuracy'])

3、绘图

plot_utils.show_scatter_curve(X, Y, pres)

（三）两个特征维度的输入数据，简单的线性可分情况

1、指定输入数据维度2，单神经元

dense = Dense(units=1, activation='sigmoid', input_dim=2)
model.add(dense)

2、绘制三维空间图形 

plot_utils.show_scatter_surface(X, Y, model)

（四）两个特征维度的输入数据，加入隐藏层，扭曲预测曲面和分割线

1、指定输入数据维度2，修改为2个神经元（隐藏层），并添加输出层神经元

dense = Dense(units=2, activation='sigmoid', input_dim=2)
# 输出层的神经元
dense2 = Dense(units=1, activation='sigmoid')
# 将全连接层Dense堆叠到序列上
model.add(dense)
model.add(dense2)

2、绘制三维空间图形

plot_utils.show_scatter_surface(X, Y, model)