深度神经网络（DNN）学习小结

之前写过线性回归和逻辑回归，但是也有的情况这两种都不能很好的拟合，像这种：

假设我们有非常多的特征，例如大于 100 个变量，我们希望用这 100 个特征来构建一个非线性的多项式模型，结果将是数量非常惊人的特征组合，即便只采用两两特征的组合，我们也会有接近 5000 个组合而成的特征，计算起来就非常麻烦了。
这时候就要用到神经网络了，神经网络最重要的功能就是分类了。

神经网络（NN）基本结构

神经网络第一层为input层，最后一层为output层，而在input和output中间的层则被称为hidden层.

DNN模型

$x_1,x_2,x_3$是输入的数据，$a_1^{(2)},a_2^{(2)},a_3^{(2)}$表示第2层的数据，从$x_1到第二层$，需要一个激活函数，这个函数可以是逻辑回归的Sigmoid函数，也可以是其他的函数。一般有以下三种常用的函数：

我们假设这个激活函数为$z(x)$，我们给它加上一些权重参数 w1,w2,w3,