Neural Networks for Machine Learning 课程笔记

Cousera 上 神经网络大牛 Geoffrey Hinton 的课程，课程笔记整理与此。

Lec1

什么是机器学习？

（我的理解）定义一个函数，可能拥有巨量的变量及对应的参数，然后根据每个具体任务，提供输入到输出的数据样本，调整参数，使函数在给定输入下，输出逼近正确结果。

本质上就是定义了一种哈希方法，记住了大量的样本！而且是一种相似性哈希，目标是相似的输入输出也要尽可能的相似，至于什么是相似的，是由机器学来的，所谓泛化性（对未知样本的预测能力），就是依赖于这种哈希目标的准确率。所以可以理解见过的越多，准确率越高！但，现实世界中可能的输入到输出空间几乎是无限的！而且即使在当下的所谓大数据时代，很多领域中，这种已处理好的输入到输出的数据依然十分有限！但不管怎样，在最理想状况下（学习方法可以训练到逼近任何可能的函数，并且有所有可能情况的数据），这种方法还是非常有前景！

机器学习方法与传统的全部由规则写死的程序的比较

机器学习方法在面对新的数据样本的变化，只需在结合新的数据重新训练即可，而传统方法可能又要定义很多新的规则。虽然这种做法需要大量计算资源，但现在使用计算资源，比雇人写一个特定任务的程序的花费要小很多。

Lec3

神经网络训练方式：

通过最终输出值更接近目标值，而不是权重矩阵集合更接近理想的矩阵集合。
有了目标相对于loss的导