安装两个软件后,测试用例如下:
有可能出现以下几个错误:
1.LaTeX Error: File ''ctex.sty'' not Found
参考:
latex之安装宏包及LaTeX Error: File ''xxx.sty'' not Found报错
https://www.cnblogs.com/hkkeryu/p/12146356.html
texlive包的添加与更新
https://blog.csdn.net/kayneo/article/details/72957615
LaTeX新手入门以及TeXlive和TeXstudio的安装使用
我的其实不是该博客这种没有安装库,而是TeXstudio没有配置
2确认自己的电脑中都有哪些中文字体,不然找不到肯定报错
sudo fc-list :lang=zh-cn
exstudio 如何输入中文
https://zhuanlan.zhihu.com/p/90479775
怎样在LaTeX中使用中文 *****
https://www.cnblogs.com/chester-cs/p/12343942.html
博士论文中MacTex中文字体错误处理 *****
https://zhuanlan.zhihu.com/p/43469535
LaTeX完整例子_参考文献、图、表和公式
我的字体库中有 文泉驿等宽微米黑
在下面的代码中设置好就行,然后结合前面的:
测试代码如下:
\documentclass[UTF8, a4paper]{article}
\usepackage{ctex, fontspec, geometry, color, setspace}
\geometry{left=1cm, right=1cm, top=1cm, bottom=1cm}
\setmainfont[Mapping=tex-text]{文泉驿等宽微米黑}
\begin{document}
\begin{spacing}{0.9}
\section*{神经网络梯度下降公式推导}
\section*{前向传播}
隐藏层的向量值通过输入层到隐藏层之间的权重矩阵与输入层向量点乘得到
\newline
$X_{hidden}=W_{input\_hidden} \cdot I$
\newline
隐藏层的输出向量值就是通过**函数计算后的值
\newline
$O_{hidden}=sigmoid(X_{hidden})$
\newline
输出层向量值
\newline
$X_{output}=W_{hidden\_output} \cdot O_{hidden}$
\newline
应用**函数后,得到最终的输出向量
\newline
$O_{output}=sigmoid(X_{output})$
\newline
\section*{误差反向传播}
$Error_{output}=Target-O_{output}$
\newline
$Error_{hidden}=W^{T} \cdot Error_{output}$
\newline
\section*{应用链式法则求解梯度}
$\frac{\partial E}{\partial W_{jk}}=\frac{\partial}{\partial W_{jk}} \sum_{n}(t_{n}-O_{n})^{2}$
\newline
因为n节点对于$W_{jk}$变化的响应只与与之连接的部分有关,所以:
\newline
$\frac{\partial E}{\partial W_{jk}}=\frac{\partial}{\partial W_{jk}}{\left(t_{k}-O_{k}\right)}^{2}$
\newline
$t_{k}$和$W_{jk}$不相关,所以以上公式可以简化为:
\newline
$\frac{\partial E}{\partial W_{jk}}=\frac{\partial E}{\partial O_{k}}\cdot\frac{\partial O_{k}}{\partial W_{jk}}$
\newline
$\frac{\partial E}{\partial W_{jk}}=-2\left(t_{k}-O_{k}\right)\cdot\frac{\partial O_{k}}{\partial W_{jk}}$
\newline
$\frac{\partial E}{\partial W_{jk}}=-2\left(t_{k}-O_{k}\right)\cdot\frac{\partial }{\partial W_{jk}} sigmoid\left(\Sigma_{j}W_{jk}\cdot O_{j}\right)$
\newline
\textcolor{magenta}{注意:$O_{k}$ 是指输出层的向量值 而$O_{j}$是前面隐藏层的输出向量! }
\newline
由于:
$\frac{\partial}{\partial X}sigmoid(X)=sigmoid(X)(1-sigmoid(X))$
\newline
所以:
\newline
$\frac{\partial E}{\partial W_{jk}}=-2(t_{k}-O_{k}) \cdot sigmoid(\sum_{j} W_{jk} \cdot O_{j})(1-sigmoid(\sum_{j} W_{jk} \cdot O_{j})) \cdot \frac{\partial}{\partial W_{jk}}(\sum_{j} W_{jk} \cdot O_{j})$
\newline
$\frac{\partial E}{\partial W_{jk}}=-2(t_{k}-O_{k}) \cdot sigmoid(\sum_{j} W_{jk} \cdot O_{j})(1-sigmoid(\sum_{j} W_{jk} \cdot O_{j})) \cdot O_{j}$
\newline
$\frac{\partial E}{\partial W_{jk}}=\textcolor[rgb]{0,0.5,0.5}{-e_{j}}\cdot \textcolor[rgb]{1,0,0}{sigmoid(\sum_{j} W_{jk} \cdot O_{j})(1-sigmoid(\sum_{j} W_{jk} \cdot O_{j}))} \cdot \textcolor[rgb]{0,0.6,0}{O_{j}}$
\newline
至此,梯度已经求得,接下来就是要用它来更新连接权重值
\newline
$new\ W_{jk}=old\ W_{jk}-\alpha\cdot\frac{\partial E}{\partial W_{jk}}$
\newline
$\Delta W_{jk}=\alpha * E_{k} * sigmoid(O_{k}) *(1-sigmoid(O_{k})) \cdot O_{j}^{T} $
\newline
\end{spacing}
\end{document}
效果如图: