一:两种神经网络
-
感知型和S型,权重w和偏置b
-
感知型规则模型:
实际上,⽹络中单个感知器上⼀个权重或 偏置的微⼩改动有时候会引起那个感知器的输 出完 全翻转,如0变到1 -
S型:
S型神经元有多个输⼊,x1,x2,…。但是这些输⼊可以取0和1中的任意 值,⽽不仅仅是0或1。
二 神经网络架构
- 输入层,隐藏层,输出层,, 多次感知器MLP
三 梯度下降学习法:
-
⼀直使⽤它。 重复⼀下,我们训练神经⽹络的⽬的是找到能最⼩化⼆次代价函数C(w,b)的权重和偏置。
为了计算梯度∇C,需要为每个训练输⼊x单独地计算梯度值∇Cx,然后求平均值∇C
需要花费大量时间,所以,随机梯度下降通过随机选取⼩量的m个训练输⼊来⼯作。
其中m: 部分选取的训练量 n: 学习速率 -
核心代码Network类,我们⽤来表⽰⼀个神经⽹络:
class Network(object):
def init(self, sizes):
self.num_layers = len(sizes)
self.sizes = sizes self.biases = [np.random.randn(y, 1) for y in sizes[1:]] self.weights = [np.random.randn(y, x) for x, y in zip(sizes[:-1], sizes[1:])]