机器学习（十二）：前向传播的代码实现

一、Tensor Flow代码实现

Tensor Flow和PyTorch是两大深度学习框架，本文使用Tensor Flow。

以上图的神经网络为例，代码可以写成：

1、输入向量用np.array赋值

2、使用Dense()构造第一层，第一层有三个神经元，激活函数是sigmoid，第一层的输入是x

3、使用Dense()构造第二层，第二层有一个神经元，激活函数是sigmoid，第二层的输入是第一层激活值a1

4、根据第二层的激活值判断预测值

二、Tensor Flow构建神经网络

以上图的神经网络为例，下面的代码实现不需要手动地获取数据并传递到下一层。

1、Dense()：构造第一层、第二层、第三层，每层依次有25个、15个、1个神经元，激活函数是sigmoid

2、Sequential()：把每层串在一起形成神经网络

3、model.compile()：为搭建好的神经网络模型设置损失函数loss、优化器optimizer、准确性评价函数metrics（后续具体学习）

4、np.array()：赋值训练集数据

5、model.fit()：使用训练集的数据训练此模型

6、model.predict()：给定新x值，预测

代码实现：

代码的另一种写法：

三、Python和Numpy代码实现

以上图的神经网络为例，输入向量用np.array赋值

1、第一层的第一个神经元激活值计算：

2、第一层的第二个神经元激活值计算：

3、第一层的第三个神经元激活值计算：

4、第一层激活值赋值：

5、第二层的神经元激活值计算：

6、根据第二层的激活值判断预测值

四、Python和Numpy代码简化

下面的代码实现，不需要手动地写每一个神经元的计算。

1、定义一个dense()函数计算每层的激活值：

• 根据入参w获取本层神经元个数units
• 使用np.zeros初始化本层的激活值a_out
• 使用for循环依次计算每个神经元的激活值，并赋值给a_out

2、定义sequential()函数，把每一层串起来，输出最终激活值

五、Tensor Flow和Numpy的数据结构

1、Tensor和Numpy array主要区别：

• Tensor和Numpy array的数据格式不一样，数据的值是相同的
• Tensor专为GPU设计的，可以在GPU上进行更高效的计算，大大提高深度学习模型的训练和推断速度；而Numpy array只能运行在CPU上，不支持GPU加速

2、格式

tensor的格式：tf.Tensor([[0.2,0.7,0.3]],shape=(1,3),dtype=float32)，tensor具有形状和数据类型

Numpy array的格式：array([[0.2,0.7,0.3]],dtype=float32)

3、转换

tensor可以直接使用Numpy array，Numpy array使用tensor需要进行转换，如：a.numpy()，a是tensor格式

学习来源：吴恩达的机器学习，P49-P54