Ⅸ机器学习

Ⅸ机器学习（Machine Learning-Andred NG）

9-1 cost function

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-75Rw4AOu-1572183270518)(:storage\df93a865-2746-4bbc-8a49-0779a1926a69\67824c7f.png)]
首先我们需要对神经网络中的有关符号进行定义，其中L代表神经网络中的总层数，sl代表在第l层中元素的个数。而在我们分析的过程中，神经网络也分为两种，一是二分法(输出的值为0或1)，另外一种是多分法(multi-class classification (k>3))
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oqlxsMON-1572183270523)(:storage\df93a865-2746-4bbc-8a49-0779a1926a69\c3cfa616.png)]
接下来是cost function of neural network(详情见上图)。它是将单个神经元单位的cost function进行一次加和而得到的式子。

9-2 back propagation

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jW7ATWLg-1572183270528)(:storage\df93a865-2746-4bbc-8a49-0779a1926a69\e2487bf9.png)]
在学习反向传播之前我们先弄清楚什么是正向传播。狮子中a(i)表示的是第i层的输出值而其同时也是i+1层的输入值。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1XHfzi32-1572183270533)(:storage\df93a865-2746-4bbc-8a49-0779a1926a69\59eb0745.png)]
接下来是反向传播的数学表达式（一刷 2019.2.28，我认为没能弄清楚数学表达式的含义，附上大神博客一文搞懂反向传播算法 - 简书，Backpropagation 算法的推导与直观图解 - 文之 - 博客园）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JU4DK3p0-1572183270537)(:storage\df93a865-2746-4bbc-8a49-0779a1926a69\a715ad25.png)]

9-3 propagation intuition

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XonaRqqw-1572183270538)(:storage\df93a865-2746-4bbc-8a49-0779a1926a69\b9b9fa5c.png)]
这一节主要是更加深入的讲述back propagation，包括他的意义，他每一步的作用，详情可以重新观看视频。