记录深度学习（六）------单层神经网络的正向传播

我们已经了解了神经网络是模仿人类大脑结构所构建的算法，在人脑里，我们有轴突连接神经元，在算法中，我们用圆表示神经元，用线表示神经元之间的连接，数据从神经网络的左侧输
入，让神经元处理之后，从右侧输出结果。

1、单层回归网络

线性回归的矩阵表达形式为：
$$\hat{z}=X\hat{w}$$
注：在机器学习领域中，$y$一般指代label，所以这里用$\hat{z}$表示

import torch

X = torch.tensor([[1,5],[1,7]],dtype = torch.float32)
w = torch.tensor([-0.2,0.2],dtype = torch.float32)#设置一个随机权重w

zhat = torch.mv(X,w)
zhat

X与w的定义与解释见前面几节：记录深度学习（五）.
下面熟悉一下torch.nn.linear

X = torch.tensor([[5],[7]],dtype = torch.float32)
output = torch.nn.Linear(1,1)#这两个参数表示连接的前后两个神经元的个数
zhat = output(X)

我只定义了X，没有定义w和b。所有nn.Module的子类，形如nn.XXX的层，都会在实例化的同时随
机生成w和b的初始值。所以实例化之后，我们就可以调用以下属性来查看生成的

2、 单层分类网络

了解分类网络之前需要先了解几个函数：
1、sigmoid函数：
$$\sigma =sigmoid(\hat{z})=\frac{1}{1+e^{-\hat{z}}}$$
他的函数图像如下所示：

x越大，y越接近1，x越小，y越接近0.
2、Relu函数
$$\sigma =\{\begin{array}{ll}z& \text{ if }z>0\\ 0& \text{ if }z\le 0\end{array}$$
它的图像如下所示：

3、tanh函数
双曲正切函数
$$tanh:\sigma =\frac{e^{2z}-1}{e^{2z}+1}$$
它的图像如下：

与sigmoid函数差不多性质。

2.1、单层二分类网络

分类与回归的区别在于一个返回连续值，一个返回离散值。用神经网络实现单层二分类，只需将结果两边同时加上sigmoid函数。将连续值离散化。

import torch
from torch.nn import functional as F

X = torch.tensor([[0,0],[1,0],[0,1],[1,1]], dtype = torch.float32)#2个特征4个样本
torch.random.manual_seed(420) #人为设置随机数种子，要不每次的结果不一样
dense = torch.nn.Linear(2,1)# 上一层神经元2个，下一层神经元一个
zhat = dense(X)
sigma = torch.sigmoid(zhat)
y = [int(x) for x in sigma > 0.5]
print(zhat)
print(sigma)
print(y)

上述就完成一次单层二分类神经网络。

2.2、单层多分类网络——softmax回归

先介绍一下softmax函数：
$${\sigma }_k=softmax(z_k)=\frac{e^{z_k}}{\sum e^z}$$
与sigmoid函数中的 一样，表示回归类算法（如线性回归）的结果。 表示该数据的标签中总共有k 个标签类别，如三分类时 ，四分类时 。 表示标签类别 k类。很容易可以看出，Softmax函数的分子是多分类状况下某一个标签类别的回归结果的指数函数，分母是多分类状况下所有标签类别的回归结果的指数函数之和，因此Softmax函数的结果代表了样本的结果为类别 k的概率。
它的图像如下：

多分类任务与二分类任务有所不同

z = torch.tensor([[1],[2],[4]],dtype = torch.float32)
y = torch.softmax(z,dim=1)# 注意第二个参数必不可少。在第几个维度进行求和，

下面开始实现单层多分类神经网络

import torch

X = torch.tensor([[0,0],[1,0],[0,1],[1,1]], dtype = torch.float32)#2个特征4个样本
torch.random.manual_seed(420) #人为设置随机数种子，要不每次的结果不一样
dense = torch.nn.Linear(2,3)
zhat = dense(X)
softmax = torch.softmax(zhat,dim = 1)
softmax

每行之和为1。4个样本分成3类。