斯坦福大学深度学习笔记：神经网络

一、神经网络背景

神经网络的灵感来源与人的大脑。实验证明大脑利用同一个学习算法实现了听觉、视觉等等所有的功能，这也是神经网络算法美好的愿景。

神经网络算法在八十到九十年代被广泛使用过， 20世纪90年代，各种各样的浅层机器学习模型相继被提出，例如支撑向量机（SVM，Support Vector Machines）、 Boosting、最大熵方法（如LR，Logistic Regression）等。但之后便使用的变少了。但最近又开始流行起来了，原因是神经网络非常依赖计算能力的算法，随着新计算机性能的提高，算法又成为了有效的技术。

   二、神经网络模型表达

神经网络模型与人类神经元特别相似。

                  

逻辑回归的激活函数

   

第一层成为输入层（Input Layer），最后一层称为输出层（Output Layer），中间一层成为隐藏层（Hidden Layers）。我们为每一层都增加一个偏倚单位（bias unit）：X0,

下面引入一些标记法来帮助描述模型：
    代表第j层的第i个激活单元。

    代表从第j层映射到第j+1层时的权重的矩阵，例如代表从第一层映射到第二层的权重的矩阵。其尺寸为：以第j层的激活单元数量为行数，以第j+1层的激活单元数为列数的矩阵。例如：上图所示的神经网络中的尺寸为4*3。