\documentclass[UTF8,a4paper]{article}
\usepackage{ctex,fontspec,geometry,color,setspace}
\geometry{left=1cm,right=1cm,top=1cm,bottom=1cm}
\setmainfont[Mapping=tex-text]{宋体}
\begin{document}
\begin{spacing}{0.9}
\section*{神经网络梯度下降公式推导}
\section*{前向传播}
隐藏层的向量值通过输入层到隐藏层之间的权重矩阵与输入层向量点乘得到
\newline
$X_{hidden}=W_{input\_hidden} \cdot I$
\newline
隐藏层的输出向量值就是通过激活函数计算后的值
\newline
$O_{hidden}=sigmoid(X_{hidden})$
\newline
输出层向量值
\newline
$X_{output}=W_{hidden\_output} \cdot O_{hidden}$
\newline
应用激活函数后,得到最终的输出向量
\newline
$O_{output}=sigmoid(X_{output})$
\newline
\section*{误差反向传播}
$Error_{output}=Target-O_{output}$
\newline
$Error_{hidden}=W^{T} \cdot Error_{output}$
\newline
\section*{应用链式法则求解梯度}
$\frac{\partial E}{\partial W_{jk}}=\frac{\partial}{\partial W_{jk}} \sum_{n}(t_{n}-O_{n})^{2}$
\newline
因为n节点对于$W_{jk}$变化的响应只与与之连接的部分有关,所以:
\ne
latex数学公式制作示例
最新推荐文章于 2022-04-25 17:30:11 发布