前面介绍的线性回归和softmax回归都是单层神经网络. 然而在深度学习中, 大多数是多层模型. 以下以多层感知机为例, 介绍多层神经网络.
1. 隐藏层
多层感知机在单层神经网络的基础上引入了1~N个隐藏层(hidden layer).隐藏层位于输入层和输出层之间.
上图中含有一个隐藏层,该层中有5个隐藏单元;
输入层不参与计算,所以上图中的多层感知机的层数为2;
上图中的多层感知机隐藏层和输出层都是全连接层;
- 多层感知模型化
设输入样本为X, 隐藏层输出为H,隐藏层的有权重W1和偏差b1, 输出层输出为O.输出层的权重和偏差参数为W2和偏差2.
H = X*W1+b1
O = H*W2+b2
==> O = (X*W1+b1)*W2+b2 = XW1W2+ b1*W2 + b2;
从最后式子的整理可以看出,即使添加再多的隐藏层,以上设计依然只能与仅含输出层的单层神经网络等价(可将W1W2当做权重,偏差为b1W2 + b2).
2. 激活函数
上述问题的根源在与只对数据做了放射变换,而多个仿射变换的叠加仍然是一个仿射变换.
于是,引入了非线性变换,例如对隐藏变量使用按照元素运算的非线性函数变换,然后再作为下一个全连接层的输入.这个非线性函数被称为激活函数
.
- 激活函数一: ReLU函数
ReLU函数就是只保留正数元素的同一个非线性变换
, 该函数定义为:
## 定义一个绘图函数xyplot
%matplotlib inline
import tensorflow as tf
from matplotlib import pyplot as plt
import numpy as np
import random
def use_svg_display():
# 用矢量图显示
%config InlineBackend.figure_format = 'svg'
def set_figsize(figsize=(3.5, 2.5)):
use_svg_display()
# 设置图的尺寸
plt.rcParams['figure.figsize'] = figsize
def xyplot(x_vals, y_vals, name):
set_figsize(figsize=(5, 2.5))
plt.plot(x_vals.numpy(), y_vals.numpy())
plt.xlabel('x')
plt.ylabel(name + '(x)')
// tf.nn 提供relu函数
x = tf.Variable(tf.range(-8,8,0.1), dtype=tf.float32)
y = tf.nn.relu(x)
xyplot(x, y, 'relu')
// ReLU导数
with tf.GradientTape() as t:
t.watch(x)
y=y = tf.nn.relu(x)
dy_dx = t.gradient(y, x)
xyplot(x, dy_dx, 'grad of relu')
- 激活函数二: sigmoid函数
sigmoid函数可以将元素的值变换到0-1之间:
## tf.nn 提供sigmoid函数
y = tf.nn.sigmoid(x)
xyplot(x, y, 'sigmoid')
## sigmoid函数的导数, 当输入为0, sigmoid函数的导数达到最大值0.25
with tf.GradientTape() as t:
t.watch(x)
y=y = tf.nn.sigmoid(x)
dy_dx = t.gradient(y, x)
xyplot(x, dy_dx, 'grad of sigmoid')
- 激活函数三: tanh函数
tanh函数可以将元素的值变换到-1~1之间:
## tf.nn 提供tanh函数
y = tf.nn.tanh(x)
xyplot(x, y, 'tanh')
## tanh函数的导数, 当输入为0, tanh函数的导数达到最大值1;
with tf.GradientTape() as t:
t.watch(x)
y=y = tf.nn.tanh(x)
dy_dx = t.gradient(y, x)
xyplot(x, dy_dx, 'grad of tanh')
3. 多层感知机
多层感知机就是含有至少一个隐藏层的由全连接层组成的神经网络,且每个隐藏层的输出通过激活函数进行变换;
多层感知机的层数和各隐藏层中隐藏单元个数都是超参数
(超参数: 用户初始设置值,需要优化,不是通过训练得到的(有些方法也开始对超参数进行训练))。
- 对原模型进行变换
添加激活函数: