《深度学习入门：基于Python的理论与实现》读书笔记02：其他

1.从感知机到神经网络：（过度的真的是无懈可击！）：

2.激活函数：

还记得之前学过的激活函数有一个：sigmoid。

为什么要这样子的呢?

结合感知机现在就很清楚了。

激活函数的名字也有意思：激活还是不激活呢?就是感知机输出的0，1.

3.sigmoid和阶跃函数：

4.激活函数不能使 用线性函数。

5.Relu：

权重的符号：

把数据限定到某 个范围内的处理称为正规化。

对神经网络的输入数据进行某种既定的转换称为预处理。

6.损失函数：

均方误差。

熵。

7。权重初始化：应该是随机数，而不是0。