A neural work from scratch in python
通过Python从头开始搭建神经网络
为了更好地理解神经网络是如何工作的,我们将使用矩阵代数阐明图所示的单层架构和正向传播计算,并使用NumPy实现它。
我们将使用函数以两个不同半径的同心圆的形式生成50000个随机二进制样本使这些类型不能线性可分。
然后将一维数组转化为二维数组
下图展示了明显不是线性可分的数据散点图:
(用于二进制分类的合成数据)
隐藏层
隐藏层h项目二维输入三维空间使用重量和翻译的结果偏差向量。要执行该仿射变换,隐藏层权重是由2 x 3矩阵表示,和隐藏层偏差向量的三维向量:
隐藏层激活H是将sigmoid函数应有于输入数据的添加偏置向量后的权值。
为了使Numpy实现隐藏层,我们首先定义logistic sigmoid函数
然后我们定义一个函数来计算隐含层的激活作为相关输入,权重和偏差的函数。
输出层
输出层使用3×2权值矩阵和二维偏置向量将三维隐藏层激活压缩为二维。
隐藏层输出的线性组合得到一个N×2的矩阵
输出层激活由softmax函数S计算,该函数将Z0泛化,以符合用于离散概率分布的约定
我们用python创建一个softmax函数,输出层的激活依赖于隐藏层的激活以及输出层的权值和偏差,现在有了所有的组件,我们需要集成的层和计算神经网络直接从输入中输出。