深度学习--神经网络Neural Network and Deep Learning

一：两种神经网络

1. 感知型和S型，权重w和偏置b

2. 感知型规则模型：
   
   实际上，⽹络中单个感知器上⼀个权重或 偏置的微⼩改动有时候会引起那个感知器的输 出完 全翻转，如0变到1

3. S型：
   
   S型神经元有多个输⼊，x1,x2,…。但是这些输⼊可以取0和1中的任意 值，⽽不仅仅是0或1。

二 神经网络架构

1. 输入层，隐藏层，输出层，， 多次感知器MLP

三 梯度下降学习法：

1. ⼀直使⽤它。 重复⼀下，我们训练神经⽹络的⽬的是找到能最⼩化⼆次代价函数C(w,b)的权重和偏置。
   
   为了计算梯度∇C，需要为每个训练输⼊x单独地计算梯度值∇Cx，然后求平均值∇C
   需要花费大量时间，所以，随机梯度下降通过随机选取⼩量的m个训练输⼊来⼯作。
   
   其中m: 部分选取的训练量 n: 学习速率

2. 核心代码Network类，我们⽤来表⽰⼀个神经⽹络：
   class Network(object):
   def init(self, sizes):
   self.num_layers = len(sizes)
   self.sizes = sizes self.biases = [np.random.randn(y, 1) for y in sizes[1:]] self.weights = [np.random.randn(y, x) for x, y in zip(sizes[:-1], sizes[1:])]