本文介绍了神经网络的基础知识，从逻辑回归出发，解释了神经网络的构成，包括输入层、隐藏层和输出层。讨论了权重、偏置的表示方法，以及神经元的计算过程。此外，还提到了激活函数如sigmoid、tanh和ReLU的作用，建议在隐藏层使用tanh或ReLU以提高训练速度。最后，文章强调了非线性激活函数在神经网络中的必要性，以及随机初始化参数对避免梯度消失问题的重要性。
神经网络概述
- 从Logistic Regression过渡到Neural Network。某种意义上看，Logistic Regression可以看成一个只有一层的neural network， 即没有hidden layer。
- 每一层的计算，类似于Logistic Regression:先计算z，再计算a。然后本层的a再作为下一层的输入计算。
- 重要的记号：不同layer的变量，在neural network中用上标中括号表示，比如：(W^{[i]})表示第i层的权重。
神经网络的表示
- Neural Network的组成：一个input layer，多个hidden layer，一个output layer
- training set作为输入层，即第0层，因此有 (X = a^{[0]})
- 每一层输入，上标[i]表示layer的层数，下标j表示neuron的序号（每层有多个neuron）
- 一个惯例，input layer不计算在neuron Network的层数里，并且input layer的上标是0。因此一个例子中的是neural network是2层的。
- 注意每层的参数w和b的维度。w的行数是本层的neuron的个数，列数数是上一层neuron的个数。b是一个列向量，行数与w相同。
计算神经网络的输出
每个neuron的计算分为两步：z计算出线性组合，a计算激活函数
每层的计算向量化（注意这里只是一个数据样本x的情况，后面会讲如何扩展为m个数据样本的情况）
整理后，向量化的表示：
Given input x（a single training se
最低0.47元/天 解锁文章
扫一扫
207
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
