6. 正则化 Dropout

正则化

1. 正则化主要是为了减少模型的过拟合，就像激活函数是为了增加网络的非线性。
2. Dropout只是其中的一种方法，主要是以一个概率将隐藏层的隐藏单元置为0
   3. 通常越浅层网络置0的概率越低。

import tensorflow as tf
from d2l import tensorflow as d2l

# 正则化 以dropout的概率丢弃张量输入X中的元素
def dropout_layer(X, dropout):
  # 断言 判断dropout是否在0-1
  assert 0 <= dropout <= 1
  # 概率为1时全部丢弃
  if dropout == 1:
    return tf.zeros_like(X)
  # 概率为0时不丢弃任何元素
  if dropout == 0:
    return X
  # tf.random.uniform产生的是大小与X一致的张量，里面的元素在0-1之间
  # mask张量里面的值全是0或1，实现了丢弃概率为dropout
  mask = tf.random.uniform(
      shape = tf.shape(X), minval=0, maxval=1) < 1-dropout
  # mask里的元素为1，对应的X元素不变，mask为0，X的元素对应变成0
  # 除以（1-dropoup）是为了保持期望不变，假设X有n个元素，期望为E
  # 所以变化前总的为 nE   
  # 变化后只有（1-dropout）n个元素有值 （1-dropout）nE
  # 右边除掉（1-dropout）均值就相同了，当然不要想着完全相同，毕竟概率这种事情
  return tf.cast(mask, dtype=tf.float32) * X / (1.0 - dropout)

# 定义模型参数
num_outputs, num_hiddens1, num_hiddens2 = 10, 256, 256

# 定义模型
# 设置dropout概率
dropout1, dropout2 = 0.2, 0.5

class Net(tf.keras.Model):
  # 初始化定义网络层，3层网络
  def __init__(self, num_outputs, num_hiddens1, num_hiddens2):
    super().__init__()
    # 输入层把数据拉成一维
    self.input_layer = tf.keras.layers.Flatten(