神经网络基础知识收集

神经网络基础知识收集

原文地址:https://blog.csdn.net/qq_31456593/article/details/90137453
更新中

(1)神经网络:

人工神经网络(Artificial Neural Network,ANN)是指一系列受生物学和神经学启发的数学模型。这些模型主要是通过对人脑的神经元网络进行抽象,构建人工神经元,并按照一定拓扑结构来建立人工神经元之间的连接,来模拟生物神经网络。在人工智能领域,人工神经网络也常常简称为神经网络(Neural Network,NN)或神经模型(Neural Model)。
参考:https://nndl.github.io/chap-前馈神经网络.pdf

(2)常见激活函数:

早期研究神经网络主要采用sigmoid函数或者tanh函数,输出有界,很容易充当下一层的输入。近些年Relu函数及其改进型(如Leaky-ReLU、P-ReLU、R-ReLU等)在多层神经网络中应用比较多。
参考:https://blog.csdn.net/tyhj_sf/article/details/79932893

(3)常见损失函数:

从学习任务的类型出发,可以从广义上将损失函数分为两大类——回归损失和分类损失。回归函数有:均方误差/平方损失/L2 损失。分类损失有:Hinge Loss/多分类 SVM 损失,**交叉熵损失/负对数似然
参考:https://www.jiqizhixin.com/articles/091202

©️2020 CSDN 皮肤主题: 撸撸猫 设计师:设计师小姐姐 返回首页