深度学习--神经网络--基础知识

最新推荐文章于 2023-05-19 14:35:25 发布

我是疯子喽

最新推荐文章于 2023-05-19 14:35:25 发布

阅读量395

点赞数

文章标签：神经网络人工智能深度学习算法

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_35733800/article/details/105491789

版权

目录

一神经网络的构成（架构+激活函数+最优参数学习算法）

2 激励/激活函数

1）激活函数类型

2）激活函数的特性

3）激活函数思考

3 最优参数学习算法

1）梯度下降算法

二神经网络的分类

1 从神经网络中的神经元的层次

1）浅层神经网络（传统神经网络、全连接神经网络）

2）深层神经网络（DNN）

2 从神经网络中神经元的连接结构

1）前馈神经网络

2）反馈神经网络（递归神经网络）

三神经网络的过拟合问题

1 单隐层的神经网络

2 多隐层的神经网络

3 多隐层神经网络带来的过拟合问题

一神经网络的构成（架构+激活函数+最优参数学习算法）

1 架构

描述神经元的层次以及神经元的连接结构

2 激励/激活函数

1）激活函数类型

第一点：S型函数（sigmoid函数）

$f(x)=\frac{1}{1+e^{-x}}\Rightarrow {f}'(x)=f(x)(1-f(x))$

第二点：SS型函数（tanh函数）

$f(x)=\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}\Rightarrow {f}'(x)=(1-f(x))^{2}$

第三点：ReLU函数家族

$ReLU:y=\left\{\begin{matrix} x,x>0\\ 0,x\leq 0 \end{matrix}\right.$

$LeaklyReLU:y=\left\{\begin{matrix} x,x>0\\ \alpha x,x\leq 0,\alpha \neq 1 \end{matrix}\right.$

$P-ReLU:y=\left\{\begin{matrix} x,x>0\\\alpha x,x\leq 0,\alpha \neq 0 \end{matrix}\right.$

$ReLU6:y=\left\{\begin{matrix} 6,x\geq 6\\ x,6> x>0\\ 0,x\leq 0 \end{matrix}\right.$

$CReLU:y=\left\{\begin{matrix} [x,0],x> 0\\ [0,x],x\leq 0 \end{matrix}\right.$

$ELU:y=\left\{\begin{matrix} x,x>0\\e^{x}-1,x\leq 0 \end{matrix}\right.$

$SELU:y=\left\{\begin{matrix} x,x>0\\a(e^{x}-1),x\leq 0 \end{matrix}\right.$

第四点： $maxout$

2）激活函数的特性

激活函数是一种非线性函数，使得神经元具有非线性映射能力
旧特征由激活函数激活之后，产生新特征，两者相比，一般具有非线性关系

3）激活函数思考

第一点：Dead ReLU problem

ReLU函数： $x\leq 0\Rightarrow y=0\Rightarrow \bigtriangleup x=0$ ，反向传播过程中（链式法则），由于梯度为0，导致参数无法更新
L-ReLU可以解决该问题

第二点：ReLU函数为什么是非线性激活

$y=log(1+e^{x})\Rightarrow \left\{\begin{matrix} \underset{x\rightarrow -\infty }{\lim}y=0\\\underset{x\rightarrow +\infty }{\lim} y/x=1,\underset{x\rightarrow +\infty }{\lim}(y-x)=0 \end{matrix}\right.$

从而有该函数的水平渐近线y=0，斜渐进线y=x

$y=log(1+e^{x})\overset{\alpha \rightarrow +\infty}{\Rightarrow }y=log(1+e^{\alpha x})\overset{\alpha \rightarrow \infty}{\Rightarrow }y=\left\{\begin{matrix} x,x>0\\0,x\leq 0 \end{matrix}\right.$

第三点：激活函数很少使用S型函数或者SS型函数

S型函数（sigmoid函数）

$y=\frac{1}{1+e^{-x}}\Rightarrow {y}'=y(1-y)\Rightarrow {y}'\subset (0,1)$

注意：使用链式法则，层数太深，会导致梯度消失问题

SS型函数（tanh函数）

$y=\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}\Rightarrow {y}'=(1-y)^{2}\Rightarrow {y}'\subset (0,1)$

注意：使用链式法则，层数太深，会导致梯度消失问题

3 最优参数学习算法

1）梯度下降算法

二神经网络的分类

1 从神经网络中的神经元的层次

1）浅层神经网络（传统神经网络、全连接神经网络）

是指添加少量隐层的神经网络，隐层数量不超过2层

2）深层神经网络（DNN）

是指添加更多隐层的神经网络，一般为大于2层

注意：深度学习就是对深层神经网络（DNN）的发展

2 从神经网络中神经元的连接结构

1）前馈神经网络

一般定义为有向无环图，信号只能沿着最终输出方向传播

2）反馈神经网络（递归神经网络）

存在网络中环，即信号回传

三神经网络的过拟合问题

1 单隐层的神经网络

理论上说，单隐层的神经网络（隐层的神经元个数足够多）可以逼近任何连续函数

2 多隐层的神经网络

在网络工程实践中发现，在训练集上多隐层的神经网络效果比单隐层的神经网络效果好，并且会随着隐层的增加，其效果越来越好，达到一定层数时候，效果几乎不变

3 多隐层神经网络带来的过拟合问题

但是提升隐层的层数和神经元个数的时候，神经网络的容量（长度与宽度）会越来越庞大，尽管在训练集上空间表达能力（预测能力）越来越强，但是在测试集上会伴随的过拟合问题出现

我是疯子喽

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
深度学习--神经网络--基础知识

一神经网络的构成（架构+激活函数+最优参数学习算法）1 架构描述神经元的层次以及神经元的连接结构2 激励/激活函数1）S型函数（sigmoid函数）2）SS型函数（tanh函数）3）ReLU函数家族3 最优参数学习算法二神经网络的分类1 从神经网络中的神经元的层次1）浅层神经网络（传统神经网络、全连接神经网络）...
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。