我们已经了解了神经网络是模仿人类大脑结构所构建的算法,在人脑里,我们有轴突连接神经元,在算法中,我们用圆表示神经元,用线表示神经元之间的连接,数据从神经网络的左侧输
入,让神经元处理之后,从右侧输出结果。
1、单层回归网络
线性回归的矩阵表达形式为:
z
^
=
X
w
^
\hat{z} = X\hat{w}
z^=Xw^
注:在机器学习领域中,
y
y
y一般指代label,所以这里用
z
^
\hat{z}
z^表示
import torch
X = torch.tensor([[1,5],[1,7]],dtype = torch.float32)
w = torch.tensor([-0.2,0.2],dtype = torch.float32)#设置一个随机权重w
zhat = torch.mv(X,w)
zhat
X与w的定义与解释见前面几节:记录深度学习(五).
下面熟悉一下torch.nn.linear
X = torch.tensor([[5],[7]],dtype = torch.float32)
output = torch.nn.Linear(1,1)#这两个参数表示连接的前后两个神经元的个数
zhat = output(X)
我只定义了X,没有定义w和b。所有nn.Module的子类,形如nn.XXX的层,都会在实例化的同时随
机生成w和b的初始值。所以实例化之后,我们就可以调用以下属性来查看生成的
2、 单层分类网络
了解分类网络之前需要先了解几个函数:
1、sigmoid函数:
σ
=
s
i
g
m
o
i
d
(
z
^
)
=
1
1
+
e
−
z
^
\sigma = sigmoid(\hat{z}) = \frac{1}{1 + e^{-\hat{z}}}
σ=sigmoid(z^)=1+e−z^1
他的函数图像如下所示:
x越大,y越接近1,x越小,y越接近0.
2、Relu函数
σ
=
{
z
if
z
>
0
0
if
z
≤
0
\sigma = \begin{cases} z & \text{ if } z> 0 \\ 0 & \text{ if } z\leq 0 \end{cases}
σ={z0 if z>0 if z≤0
它的图像如下所示:
3、tanh函数
双曲正切函数
t
a
n
h
:
σ
=
e
2
z
−
1
e
2
z
+
1
tanh:\sigma = \frac{e^{2z}-1}{e^{2z}+1}
tanh:σ=e2z+1e2z−1
它的图像如下:
与sigmoid函数差不多性质。
2.1、单层二分类网络
分类与回归的区别在于一个返回连续值,一个返回离散值。用神经网络实现单层二分类,只需将结果两边同时加上sigmoid函数。将连续值离散化。
import torch
from torch.nn import functional as F
X = torch.tensor([[0,0],[1,0],[0,1],[1,1]], dtype = torch.float32)#2个特征4个样本
torch.random.manual_seed(420) #人为设置随机数种子,要不每次的结果不一样
dense = torch.nn.Linear(2,1)# 上一层神经元2个,下一层神经元一个
zhat = dense(X)
sigma = torch.sigmoid(zhat)
y = [int(x) for x in sigma > 0.5]
print(zhat)
print(sigma)
print(y)
上述就完成一次单层二分类神经网络。
2.2、单层多分类网络——softmax回归
先介绍一下softmax函数:
σ
k
=
s
o
f
t
m
a
x
(
z
k
)
=
e
z
k
∑
e
z
\sigma_{k} = softmax(z_{k}) = \frac{e^{z_{k}}}{\sum e^{z}}
σk=softmax(zk)=∑ezezk
与sigmoid函数中的 一样,表示回归类算法(如线性回归)的结果。 表示该数据的标签中总共有k 个标签类别,如三分类时 ,四分类时 。 表示标签类别 k类。很容易可以看出,Softmax函数的分子是多分类状况下某一个标签类别的回归结果的指数函数,分母是多分类状况下所有标签类别的回归结果的指数函数之和,因此Softmax函数的结果代表了样本的结果为类别 k的概率。
它的图像如下:
多分类任务与二分类任务有所不同
z = torch.tensor([[1],[2],[4]],dtype = torch.float32)
y = torch.softmax(z,dim=1)# 注意第二个参数必不可少。在第几个维度进行求和,
下面开始实现单层多分类神经网络
import torch
X = torch.tensor([[0,0],[1,0],[0,1],[1,1]], dtype = torch.float32)#2个特征4个样本
torch.random.manual_seed(420) #人为设置随机数种子,要不每次的结果不一样
dense = torch.nn.Linear(2,3)
zhat = dense(X)
softmax = torch.softmax(zhat,dim = 1)
softmax
每行之和为1。4个样本分成3类。