《深度学习入门》第三章：神经网络

写在前面：
由于本书的前两章内容比较基础，所以专栏中没有整理相关知识点，但不影响对本书的学习哦~~~

1. 感知机：可以表示复杂函数，但是设定权重的工作还是由人来完成。
   神经网络：自动的从数据中学习到合
   适的权重参数。

● 朴素感知机：单层网络（权重层数），指激活函数为 阶跃函数。
●多层感知机：神经网络，即使用sigmoid函数等平滑的激活函数的多层网络。这里是引用

2. 激活函数：将输入信号的总和转换为输出信号，作用在于决定如何来激活输入信号的总和。

●Sigmoid函数：很早就被使用。

●ReLU函数：最近常用。

3. forward前向：表示从输入到输出方向的传递过程。
   backward后向：表示从输出到输入的处理。

4. （输出层设计）神经网络可以用在分类问题、回归问题。
   前者用softmax函数，后者用恒等函数。

●恒等函数：对于输入的信息，不加任何改动地原样输出。
●Softmax函数：

即：假设输出层共有n个神经元，计算第k个神经元的输出yk。
注：由于计算机处理“数”时，数值必须在4字节或8字节的有限数据宽度内，所以当e的指数大时会“溢出”。

▲改进：C’ 是负的哦……

●此外：
Softmax的输出是0~1之间的实数，输出总和为1，所以输出可解释为“概率”。