神经网络与深度学习笔记（一）

神经网络与深度学习笔记（一）

• 神经网络与深度学习笔记（一）
  • 1 什么是神经网络
  • 2 从逻辑回归到神经元
    • 2.1 Packages
    • 2.2 学习算法的一般架构
    • 2.3 构建算法的各个部分
      • 2.3.1 sigmoid()
      • 2.3.2 Initializing parameters
      • 2.3.3 Forward and Backward propagation
      • 2.3.4 Optimization
      • 2.3.5 predict()
    • 2.4 将所有功能合并到一个模型中
  • 3.平面数据分类与隐藏层
    • 3.1 Introduction
    • 3.2 简单逻辑回归
    • 3.3 神经网络模型
      • 3.3.1 初始化模型参数
      • 3.3.2 前向传播算法
      • 3.3.3 计算成本函数$J$
      • 3.3.4 后向传播算法
      • 3.3.5 优化更新
      • 3.3.6 神经网络模型合并
      • 3.3.7 预测函数
      • 3.3.8 不同隐藏层分类对比
      • 3.3.9 其他数据集分类对比

1 什么是神经网络

  人工神经网络（artificial neural network，缩写ANN），简称神经网络（neural network，缩写NN）或类神经网络，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。
  神经网络主要由：输入层，隐藏层，输出层构成。当隐藏层只有一层时，该网络为两层神经网络，由于输入层未做任何变换，可以不看做单独的一层。实际中，网络输入层的每个神经元代表了一个特征，输出层个数代表了分类标签的个数（在做二分类时，如果采用sigmoid分类器，输出层的神经元个数为1个；如果采用softmax分类器，输出层神经元个数为2个），而隐藏层层数以及隐藏层神经元是由人工设定。一个基本的三层神经网络可见下图：

2 从逻辑回归到神经元

  这一部分将构建学习算法的总体架构，包括了初始化参数,计算代价函数,及其梯度使用优化算法(梯度下降)，以构建图片的猫分类器(cat vs. non-cat datasets)为例。

2.1 Packages

  主要包含的是Numpy(科学计算包)。

2.2 学习算法的一般架构

  接下来将使用神经网络思维方式构建逻辑回归设计一个简单的算法来区分猫的图像和非猫的图像。下图解释了为什么逻辑回归实际上是一个非常简单的神经网络!

  ①左边的一维数组:图像所包含的RGB三个通道的像素值,依次从左到右,从上到下形成的一维数组。
  ②找出数据集的尺寸和形状(训练集和测试集的数量:m_train, m_test, num_px，…),重新构造数据集，使每个示例现在都是大小向量($nu{m}_{p}x\ast nu{m}_{p}x\ast 3,1$),即$x^{(i)}$。
  ③Mathematical expression of the algorithm:

For one example $x^{(i)}$:
$$z^{(i)}=w^T{x}^{(i)}+b\text{\hspace{1em}(1)}$$
$${\hat{y}}^{(i)}=a^{(i)}=sigmoid(z^{(i)})\text{\hspace{1em}(2)}$$
$$\mathcal{L}(a^{(i)},y^{}$$