浅层神经网络学习笔记

20206-29

神经网络结构

神经网络结构大致分为一下几种结构：

# 拉直层，把输入特征拉直成为一位数组
tf.keras.layers.Flatten()

# 全连接层
tf.keras.layers.Dense(神经元个数,activation="激活函数",kernel_constraint="正则化方式")

# 卷积层
tf.keras.layers.Conv2D(filters="卷积核个数",kernel_size="卷积核尺寸",strides="卷积步长", padding="valid or same")

# LSTM层
tf.keras.layers.LSTM()
#以及其他

拉直层

将通过隐藏层计算之后，全连接之前的计算参数（w，b)拉直成一个一位数组。

全连接层

神经网络的每个权重（w）和偏置（b）都与上层（或下层）网络连接。

卷积层

将一个多维的图片或者是一个特征，通过卷积核卷积计算得到一个新的数组的一种神经网络计算方式。

使用Sequential训练神经网络

# 示例
import tensorflow as tf
model = tf.keras.models.Sequential([
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dense(128,activation="relu"),# 神经元个数自取，合适即可
    tf.keras.layers.Dense(10, activation="softmax"),# 输出结果分10类，故最后一层神经元个数为10
])

 

激活函数的选择

激活函数的作用是：通过某种映射方式，将上层网络的结构的输出结果映射到某种规律分布之间，而后进行下层网络连接计算。

sigmoid函数

sigmoid函数是用于解决二分类问题的函数，函数值是处于0-1之间，如果将其作为全连接网络最后一层激活函数，则表明输出结果是用于判断二分类中其中一类的概率。

relu函数

relu函数是一种使用比较广的函数，它的函数图像负数值为0正数图像结果是他本身。可用于全连接网络之前的网络层激活函数。

tanh函数

tanh函数和relu函数类似，应用范围也类似，但是在当函数取负的时候要定义偏置α。

softmax函数

softmax函数是一个用于解决多分类问题的激活函数，可以将其理解为二分类问题的延伸。经常与交叉熵损失函数联合使用。

配置神经网络训练参数

model.compile(optimizer="优化器",loss="损失函数",metrics=["评价函数"])

优化器的选择

优化器 (optimizer) 是编译 Keras 模型的所需的两个参数之一.
官方给了很多优化器，我只列举出了我用过的。

#optimizer可选：
    'sgd' 或 tf.keras.optimizers.SGD(lr=学习率,momentum=动量参数)
    'adagrad'   或   tf.keras.optimizers.Adadelta(lr=学习率)
    'adadelta'    或   tf.keras.optimizers.Adadelta(lr=学习率)
    'adam'        或   tf.keras.optimizers.Adam(lr=学习率，beta=0.9,beta_2=0.999)

sgd优化器（随机梯度下降优化器）

优点：计算梯度快，对于小噪声，SGD可以很好收敛。对于大型数据，训练很快，从数据中取大量的样本算一个梯度，更新一下参数。
缺点：在随机选择梯度时会引入噪声，权值更新方向可能出现错误。SGD未能克服全局最优。
 

keras.optimizers.SGD(lr=0.01, momentum=0.0, decay=0.0, nesterov=False)

* lr: float >= 0. 学习率。
* momentum: float >= 0. 参数，用于加速 SGD 在相关方向上前进，并抑制震荡。
* decay: float >= 0. 每次参数更新后学习率衰减值。
* nesterov: boolean. 是否使用 Nesterov 动量。

Adagrad优化器

Adagrad 是一种具有特定参数学习率的优化器，它根据参数在训练期间的更新频率进行自适应调整。参数接收的更新越多，更新越小。【官方建议使用默认参数】

keras.optimizers.Adagrad(lr=0.01, epsilon=None, decay=0.0)

* lr: float >= 0. 学习率.
* epsilon: float >= 0. 若为 None, 默认为 K.epsilon().
* decay: float >= 0. 每次参数更新后学习率衰减值.

adadelta优化器

Adadelta 是 Adagrad 的一个具有更强的扩展版本，它不是累积所有过去的梯度，而是根据渐变更新的移动窗口调整学习速率。 这样，即使进行了许多更新，Adadelta 仍在继续学习。 与 Adagrad 相比，在 Adadelta 的原始版本中，无需设置初始学习率。 在tensorflow2x中，与大多数其他 Keras 优化器一样，可以设置初始学习速率和衰减因子。

keras.optimizers.Adadelta(lr=1.0, rho=0.95, epsilon=None, decay=0.0)

* lr: float >= 0. 学习率，建议保留默认值。
* rho: float >= 0. Adadelta梯度平方移动均值的衰减率。
* epsilon: float >= 0. 模糊因子. 若为 None, 默认为 K.epsilon()。
* decay: float >= 0. 每次参数更新后学习率衰减值。

adam优化器

自适应矩估计（Adam）优化器是计算每个参数的自适应学习率的另一种方法。 除了存储像Adadelta和RMSprop之类的过去平方梯度vtvt的指数衰减平均数之外，Adam也保持了过去梯度mtmt的指数衰减平均值，类似于动量.
Adam一种有效的随机优化方法，它只需要一阶的梯度，并且只需要很小的内存。该方法通过第一，第二梯度的估计，计算不同参数的自适应学习速率;

keras.optimizers.Adam(lr=0.001, beta_1=0.9, beta_2=0.999, epsilon=None, decay=0.0, amsgrad=False)

* lr: float >= 0. 学习率。
* beta_1: float, 0 < beta < 1. 通常接近于 1。
* beta_2: float, 0 < beta < 1. 通常接近于 1。
* epsilon: float >= 0. 模糊因子. 若为 None, 默认为 K.epsilon()。
* decay: float >= 0. 每次参数更新后学习率衰减值。
* amsgrad: boolean. 是否应用此算法的 AMSGrad 变种

Loss函数的选择

损失函数（或称目标函数、优化评分函数）是编译模型时所需的两个参数之一。
我用过的损失函数：

    'mse'  或  tf.keras.losses.MeanSquaredError()
    'sparse_categorical_crossentropy' 或  tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False)
    # ...

注意：当全连接网络输出是多酚类选择softmax作为激活函数时，sparse_categorical_crossentropy函数的from_logits需定义为Fals

metrics评价函数

评价函数用于评估当前训练模型的性能。当模型编译后（compile），评价函数应该作为 metrics 的参数来输入。评价函数和 损失函数 相似，只不过评价函数的结果不会用于训练过程中。

    
#metrics可选：
    'accuracy'  y和y_ 都是数值，如 y = [1]  y_ = [1]
    'categorical_accuracy'    y和y_都是独热码（概率分布），如 y = [0,1,0]  y_ = [0.256,0.695,0.048]
    'sparse_categorical_accuracy'   y（真实值）是数值，y_(预测值)是独热码，如 y = [1]  y_ = [0.256,0.695,0.048]

注意当损失函数选择为：

tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False)

时，对应的metrics也需要选择为：

metrics=['sparse_categorical_accuracy']

完整示例

model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),
              metrics=['sparse_categorical_accuracy'])

模型训练

model.fit(训练集输入特征,训练集标签,batch_size=,epochs=,validation_data=(测试集的输入特征，测试集的标签),
          validation_split=从训练集中划分多少比例给测试集（0.2即表示为20%）,validation_freq=多少次epoch测试一次)