写在前面:
由于本书的前两章内容比较基础,所以专栏中没有整理相关知识点,但不影响对本书的学习哦~~~
- 感知机:可以表示复杂函数,但是设定权重的工作还是由人来完成。
神经网络:自动的从数据中学习到合
适的权重参数。
● 朴素感知机:单层网络(权重层数),指激活函数为 阶跃函数。
●多层感知机:神经网络,即使用sigmoid函数等平滑的激活函数的多层网络。这里是引用
- 激活函数:将输入信号的总和转换为输出信号,作用在于决定如何来激活输入信号的总和。
●Sigmoid函数:很早就被使用。
●ReLU函数:最近常用。
-
forward前向:表示从输入到输出方向的传递过程。
backward后向:表示从输出到输入的处理。 -
(输出层设计)神经网络可以用在分类问题、回归问题。
前者用softmax函数,后者用恒等函数。
●恒等函数:对于输入的信息,不加任何改动地原样输出。
●Softmax函数:
即:假设输出层共有n个神经元,计算第k个神经元的输出yk。
注:由于计算机处理“数”时,数值必须在4字节或8字节的有限数据宽度内,所以当e的指数大时会“溢出”。
▲改进:C’ 是负的哦……
●此外:
Softmax的输出是0~1之间的实数,输出总和为1,所以输出可解释为“概率”。