NNDL实验五 前馈神经网络（1）二分类任务

4.1 神经元

使用pytorch计算一组输入的净活性值z

净活性值z经过一个非线性函数f(·)后，得到神经元的活性值a

使用pytorch计算一组输入的净活性值 z z z。代码实现如下：、

import torch
import numpy as np
import matplotlib.pyplot as plt


X = torch.rand([2, 5])  # 2个特征数为5的样本
w = torch.rand([5, 1])  # 含有5个参数的权重向量
b = torch.rand([1, 1])  # 偏置项
z = torch.matmul(X, w) + b  # 使用'torch.matmul'实现矩阵相乘
print("input X:\n", X)
print("weight w:\n", w, "\nbias b:", b)
print("output z:\n", z)

运行结果如下：

  【思考题】加权求和与仿射变换之间有什么区别和联系？

加权相加就是对数据在整体评估中占的重要作用设定比例，所有数的比例加起来应为1，然后将各数分别乘以各自的加权比例再相加。

仿射变换，又称仿射映射，是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。
仿射变换是在几何上定义为两个向量空间之间的一个仿射变换或者仿射映射由一个非奇异的线性变换(运用一次函数进行的变换)接上一个平移变换组成。

虽然两种解释是不同的，但是通过公式我们可以发现二者的计算过程是一样的。

加权相加取自仿射变换，加权相加是一维数据的处理，仿射变换是二维数据。

4.1.2 激活函数

激活函数通常为非线性函数，可以增强神经网络的表示能力和学习能力。

常用的激活函数有S型函数和ReLU函数。

4.1.2.1 Sigmoid 型函数

Sigmoid 型函数是指一类S型曲线函数，为两端饱和函数。常用的 Sigmoid 型函数有 Logistic 函数和 Tanh 函数，其数学表达式为

Logistic 函数：

 Tanh函数

Logistic函数和Tanh函数的代码实现和可视化如下：

# Logistic函数
def logistic(z):
    return 1.0 / (1.0 + torch.exp(-z))


# Tanh函数
def tanh(z):
    return (torch.exp(z) - torch.exp(-z)) / (torch.exp(z) + torch.exp(-z))


# 在[-10,10]的范围内生成10000个输入值，用于绘制函数曲线
z = torch.linspace(-10, 10, 10000)
plt.figure()
plt.plot(z.tolist(), logistic(z).tolist(), color='r', label="Logistic Function")
plt.plot(z.tolist(), tanh(z).tolist(), color='b', linestyle='--', label="Tanh Function")
ax = plt.gca()  # 获取轴，默认有4个
# 隐藏两个轴，通过把颜色设置成none
ax.spines['top'].set_color('none')
ax.spines['right'].set_color('none')
# 调整坐标轴位置
ax.spines['left'].set_position(('data', 0))
ax.spines['bottom'].set_position(('data', 0))
plt.legend(loc='lower right', fontsize='large')
plt.savefig('fw-logistic-tanh.pdf')
plt.show()

 

常见的ReLU函数有ReLU和带泄露的ReLU（Leaky ReLU）

ReLU(z)=max(0,z)

LeakyReLU(z)=max(0,z)+min(0,z)

其中为超参数 

可视化ReLU和带泄露的ReLU的函数的代码实现和可视化如下： 

 

# ReLU函数
def relu(z):
    return torch.maximum(z, torch.tensor(0.))


# 带泄露的ReLU函数
def leaky_relu(z, negative_slope=0.1):
    a1 = (torch.as_tensor((z > 0), dtype=torch.float32) * z)
    a2 = (torch.as_tensor((z <= 0), dtype=torch.float32) * (negative_slope * z))
    return a1 + a2


# 在[-10,10]的范围内生成一系列的输入值，用于绘制relu、leaky_relu的函数曲线
z = torch.linspace(-10, 10, 10000)
plt.figure()
plt.plot(z.tolist(), relu(z).tolist(), color="r", label="ReLU Function")
plt.plot(z.tolist(), leaky_relu(z).tolist(), color="b", linestyle="--", label="LeakyReLU Function")
ax = plt.gca()  # 获取轴，默认有4个
# 隐藏两个轴，通过把颜色设置成none
ax.spines['top'].set_color('none')
ax.spines['right'].set_color('none')
# 调整坐标轴位置
ax.spines['left'].set_position(('data', 0))
ax.spines['bottom'].set_position(('data', 0))
plt.legend(loc='upper left', fontsize='large')
plt.savefig('fw-relu-leakyrelu.pdf')
plt.show()