nlp深度学习基础-DNN

最新推荐文章于 2023-06-26 21:25:04 发布

ww要努力呀

最新推荐文章于 2023-06-26 21:25:04 发布

阅读量387

点赞数

分类专栏： nlp 文章标签：深度学习自然语言处理 dnn

本文链接：https://blog.csdn.net/wwang_123/article/details/127085731

版权

nlp 专栏收录该内容

11 篇文章 0 订阅

订阅专栏

文章目录

- 全连接前馈神经网络DNN

全连接前馈神经网络DNN

模型结构	模型训练/学习	说明
前馈神经网络DNN	反向传播算法BP 梯度消失/溢出问题	DNN模型结构及训练算法
人工神经元模型	梯度下降法	神经网络基础知识

人工神经元模型

在这里插入图片描述输入：X
输出：Y
参数：w，b
函数关系： $Z=x_{1}w_{1}+x_{2}w_{2}+...+x_{n}w_{n}+b$
$Y=\sigma(z)=\sigma(W^{T}+b)$

激活函数

为了增强网络的表达能力，需要引入连续的非线性激活函数

激活函数的性质：

连续并可导（允许少数点上不可导）的非线性函数
– 可导的激活函数可以直接利用数值优化的方法来学习网络参数
激活函数及其导数要尽可能简单
– 有利于提高网络计算效率
激活函数的导函数的值域要在一个合适的区间内
– 不能太大或太小，否则会影响训练的效率和稳定性

常用的激活函数

$\sigma(x)=\frac{1}{1+exp(-x)}(Sigmoid/logistic)$
$tanh(x)=\frac{exp(x)-exp(-x)}{exp(x)+exp(-x)}$
$ReLU(x)=\left\{\begin{matrix} x& x\geq 0 \\ 0& x< 0\\ \end{matrix}\right.=max(0,x)$
$LeakyReLU(x)=\left\{\begin{matrix} x& x> 0 \\ \gamma x& x\leq 0\\ \end{matrix}\right.=max(0,x)+\gamma min(0,x)$
$ELU(x)=\left\{\begin{matrix} x& x> 0 \\ \gamma (exp(x)-1)& x\leq 0\\ \end{matrix}\right.=max(0,x)+min(0,\gamma(exp(x)-1))$
$so f tpl u s (x) = l o g (1 + e x p (x))$

激活函数的导数

在这里插入图片描述 ### DNN模型结构

模型输入：X
模型输出：Y
模型参数：层间连线权重w1,w2,…,wL，各层偏置b1,b2,…bL
$Y=f(x,\theta) \theta={w^{1},b^{1},...,w^{L},b^{L}}$
$y=f(x)=\sigma(w^{L}...\sigma(w^{2}\sigma(w^{1}x+b^{1})+b^{2})...+b^{L})$

梯度下降法

通过调整参数，让模型输出递归性地逼近标准输出

步骤：

定义目标函数（损失函数）：一般将问题转化成求极值问题
优化目标函数：通过求目标函数的极值来确定参数

常见的损失函数：

在这里插入图片描述
求解过程：

定义目标函数
绝对值损失函数：
$C(\theta)=L(Y,f(xm\theta))=|Y-f(x,\theta)|$
优化目标：求 $minC(\theta)$
优化目标函数：
通过求目标函数的极值来确定参数
原理：
泰勒展开：如h(x)在 $x=x_{0}$ 附近无限可微
$h(x)=\sum_{k=0}^{\infty }\frac{h^{k}(x_{0})}{k!}(x-x_{0})^{k} =h(x_{0})+h^{'}(x_{0})(x-x_{0})+ \frac{h^{''}(x_{0})}{2!}(x-x_{0})^{2}+...$
当x与 $x_{0}$ 足够接近时
$h(x)\approx h(x_{0})+h^{'}(x_{0})(x-x_{0})$
$h(x_{i+1})= h(x_{i})+h^{'}(x_{i})(x_{i+1}-x_{i})$
每次取 $x_{i+1}$ 应满足 $h(x_{i+1})<h(x_{i})$
$h(x_{i+1})-h(x_{i})=h^{'}(x_{i})(x_{i+1}-x_{i})<0$
即满足 $h^{'}(x_{i})(x_{i+1}-x_{i})<0$ 条件h(x)将趋于变小
每步参数调整：
$x_{i+1}=x_{i}-\eta h^{'}(x_{i})$