Hinton Neural Network课程笔记1a：为什么需要机器学习？

课程简介

hinton在coursera上开的网课，名称为Neural Networks for Machine Learning (University of Toronto)

课程笔记

第一节课就是介绍了一下Machine Learning的优势，以及给了几个相关的例子。

1. Machine Learning的优势

课中把Machine Learning和hard coded program做了一下对比，发现有一些任务很难用规则等解决。例如识别物体，首先我们不知道大脑是如何进行识别的，从而无从模仿；而且传统图像的方法是用各种规则融合在一起，不仅复杂，而且总有一些情况下解决不了。再比如判断异常，没有一种简单可靠的规则可以判定a credit card transaction is fraudulent，并且欺骗行为是逐渐改变的。
总结一下，机器学习的优势其实就在于其为数据驱动，即不需要了解其内的具体规则就可以得到一个程序；而且对于任何新情况只需要更新数据库即可，不需要重新思考并编码新规则；获取数据的代价往往小于重写代码的代价。
课中列举了一些适用于机器学习的例子，分为识别问题、异常检测和预测问题三类。

2. 机器学习应用实例

分别描述了2012年深度神经网络在两个领域内取得的成果。

2.1. 图像识别

这个任务简述一下就是输入图像，输出图像的类别（例如猫、狗、驴等等）。
首先介绍了MNIST数据集，说其为机器学习届的果蝇，并给出了两个理由：
1. 公开数据集，易于获取，训练网络的速度很快。
2. 有很多已有的在MNIST数据集上的结果。
然后又拿出一些其中的例子，解释说直接写程序很难找到可用的共通模板（不仅要识别正确，还有把其他类识别错误）。
MNIST数据集对于神经网络来说就是大材小用了，所以又介绍了一个难一些而且具有普适性代表性的数据集：ImageNet。数据集网上就有，就不赘述了。
这里面Hinton分析了一下模型错误的结果，发现说虽然神经网络有的时候会把图片识别错，但是往往都是有理由的（比如人是可以在图片中找出和该类物体类似的地方的）。

2.2. 语音识别

简述了语音识别的框架，大致上就是预处理、音律识别和解码。如下图：

然后介绍了当时（2012年）最新的架构，以及相应的结果：

然后和传统方法在不同数据集上做了比较，说明深度网络精度高、训练快。