最近又重新温习了吴恩达的《深度学习》课程,再看一遍时还是产生了许多感悟。吴大佬的视频真的非常不错,通俗易懂,适合入门。所以我趁热打铁,写一个笔记形式的博客,表达对视频课程的理解和感悟。同时一些内容还会集合其他的书籍或博客。
什么是神经网络?
这里的神经网络是指人工神经网络 (Artificial Neural Network),它由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重。
以房价预测模型为例。给定m个样本数据{x,y}, xi x i 是第i个房屋信息,每个输入数据都是一个四维向量,对应房屋的四个指标。y是样本标签,表示对应房屋的房价。我们要用样本数据来训练一个神经网络,当给定新的房屋信息时来预测房价。已知房屋的面积(size),卧室数目(#bedrooms),房屋的邮政编码(postal code),财富水平(wealth)。构造出下面的神经网络模型:
从模型中可以看出,此网络分为输入层,隐藏层和输出层。这是一个两层神经网络,通常把输入矩阵X记为 a[0] a [ 0 ] ,把隐藏层输出记为 a[1] a [ 1 ] 。隐藏层对应的权重 W[1] W [ 1 ] 和常数项 b[1] b [ 1 ] , W[1