神经网络基础知识收集

神经网络基础知识收集

原文地址：https://blog.csdn.net/qq_31456593/article/details/90137453
更新中

（1）神经网络：

人工神经网络（Artificial Neural Network，ANN）是指一系列受生物学和神经学启发的数学模型。这些模型主要是通过对人脑的神经元网络进行抽象，构建人工神经元，并按照一定拓扑结构来建立人工神经元之间的连接，来模拟生物神经网络。在人工智能领域，人工神经网络也常常简称为神经网络（Neural Network，NN）或神经模型（Neural Model）。
参考：https://nndl.github.io/chap-前馈神经网络.pdf

（2）常见激活函数：

早期研究神经网络主要采用sigmoid函数或者tanh函数，输出有界，很容易充当下一层的输入。近些年Relu函数及其改进型（如Leaky-ReLU、P-ReLU、R-ReLU等）在多层神经网络中应用比较多。
参考：https://blog.csdn.net/tyhj_sf/article/details/79932893

（3）常见损失函数：

从学习任务的类型出发，可以从广义上将损失函数分为两大类——回归损失和分类损失。回归函数有：均方误差/平方损失/L2 损失。分类损失有：Hinge Loss/多分类 SVM 损失，**交叉熵损失/负对数似然
参考：https://www.jiqizhixin.com/articles/091202