多层神经网络

多层神经网络

本节介绍更复杂的函数

例如:
图中每个圆都代表一个线性函数,举例第一个绿圆为y=w1x1+w2x2+w3x3+b。
在这里插入图片描述

在这里插入图片描述
一个黄圈圈y就是一个神经元,也就是一条线性函数
在这里插入图片描述

  • 神经元与矩阵
    在这里插入图片描述
    最后一步的转置,是为了求出数值y。
    所以,神经网络可以演化成矩阵运算。

激活函数

实现预测函数的拐弯
在这里插入图片描述

  • 另一个角度理解拟合函数和激活函数
    红色为真实函数,没有线性函数可以拟合该函数,故需要激活函数进行拟合
    在这里插入图片描述
  • 以下为激活函数的原理与相关知识。
    在这里插入图片描述
    在这里插入图片描述
注意,粗体r为矩阵,r=b+wx。
所有的权重w和偏置b都为函数的**参数θ**。

激活函数能求导:目前,我们所做的工作都是求y=wx+b中的w和b以及loss,通过多层函数映射后的预测值要与真值求差并对w和b求导,从而进行函数优化,所以要求函数必须可以求导。rule函数中虽然0点不可导,但是深度学习中一般上不会取0点

最终,我们通过层层参数θ,获得预测值。下一步进行函数优化。

深度学习的训练过程

loss逐层先后传递进行求导,即梯度回传,也称反向传播。
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

  • FC(Fully Connected):全连接层
  • Fully Connected Network:全连接网络
  • Neuron:神经元
  • Neuron Network:神经网络
  • 多层感知机:超过两层的全连接网络在这里插入图片描述
    注意:深度学习神经网络并不是层数越多越好,因为中途会遇到瓶颈,要想更好,需要进行别的方面的创新
    在这里插入图片描述
  • overfitting:过拟合。 underfitting:欠拟合。
    在这里插入图片描述

other

不同模型需要不同版本的conda和torch,注意下载的版本。
在这里插入图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值