一直是跟着cousera上吴恩达的课学下来的,目前到一课程第四周,还没做第四周作业。
除了明显为个人手写并用手机拍摄,以下提供的图片都来自吴恩达老师课件的截图
neural network 神经网络
在后期第四周的课里说明了这个和人脑神经元是没有可对比性的,也就是两者是完全没关系的东西。
这里给出个人理解的定义:神经网络就是由输入,多个层级的隐藏层,输出组成的预测模型。可以通过一个训练组进行训练,测试组进行测试。
对神经网络的理解可以参考电路中逻辑的实现,像是异或等的实现。
吴恩达老师课程里的一组关于神经网络的图片
Logistic Regression 逻辑回归单元
逻辑回归单元:实际就是神经网络中的一个节点,在前期课程中,这个节点通常是以神经网络中的输出节点为例的。
向前传播:根据输入+等式一直往后推到结果。这实际就是后来更新参数后要做的一个步骤,求得预测结果。
向后传播:根据结果+等式一直往前推到开头,实际就是求得个参数对结果的导数,知道参数对结果的影响大小。
单个样本时
涉及到的公式
当只有一个样本时,也就是上述 x ( i ) x^{(i)} x(i)时, x x x维度为 ( n , 1 ) (n,1) (n,1)
而在逻辑回归单元也只涉及到一个节点的计算,故此时 w w w维度应为 ( n , 1 ) (n,1) (n,1),故转置矩阵 w T w^{T} wT维度为 ( 1 , n ) (1,n) (1,n)
此时, z z z以及 y ^ \hat{y} y^的维度将是 ( 1 , 1 ) (1,1) (1,1)也就是我们想要的唯一的结果,但应注意到此时可能还需要对 y ^ \hat{y} y^进行处理才能是我们要的预测值。比如:判断一张图片是不是猫的时候, y ^ \hat{y} y