sks1123的博客

原创 2021-06-13

一.神经网络一个神经元可以有多个输入。一个神经元只能有一个输出，这个输出可以同时输入给多个神经元。一个神经元的 ww 的数量和输入的数量一致。一个神经元只有一个 bb。ww 和 bb 有人为的初始值，在训练过程中被不断修改。AA 可以等于 ZZ，即激活函数不是必须有的。一层神经网络中的所有神经元的激活函数必须一致。二.梯度下降2.3.1 从自然现象中理解梯度下降在大多数文章中，都以“一个人被困在山上，需要迅速下到谷底”来举例，这个人会“寻找当前所处位置最陡峭的地方向下走”。这个例子中忽略