神经网络初级认知笔记

神经网络笔记

今天想到了神经网络的激活函数 tanh,sigmoid 它们的不同，找了以下资料

• sigmoid

Sigmoid函数由下列公式定义

其对x的导数可以用自身表示:

函数图像 值在【0，1】之间

• tanh

双曲正切函数

其对x的导数可以用自身表示:

函数图像 值在【-1,1】之间

神经网络入门知识点

由一个神经元构成的神经网络

将多个神经元组合一起组成一个大的神经网络

我们使用圆圈来表示神经网络的输入，标上“\textstyle +1”的圆圈被称为偏置节点，也就是截距项。神经网络最左边的一层叫做输入层，最右的一层叫做输出层（本例中，输出层只有一个节点）。中间所有节点组成的一层叫做隐藏层，因为我们不能在训练样本集中观测到它们的值。同时可以看到，以上神经网络的例子中有3个输入单元（偏置单元不计在内），3个隐藏单元及一个输出单元。

之前总是感觉学的很模糊 今天纠正一下自己之前的错误 ，对神经网络认识更加清晰。