绪论：面向机器学习的神经网络——第一周作业

1.为什么我们需要机器学习

1.1什么是机器学习?

我们之所以需要机器学习，是因为有很多问题场景中，都比较难写出手工的计算程序，实现三维对象的识别等，尤其在混乱的场景下，有新想法和新重点的时候更难实现。
另一个例子是检测信用卡欺诈行为，因为人们欺诈技巧经常改变，所以我们需要设计一个复杂的程序，来组合不可信的规则，并且灵活多变。

1.2机器学习的方法

并非需要为每一个特定的任务场景手动编写每个程序，我们通过收集很多样例数据，并为给定输入赋予正确的标签值，然后用每一个机器学习算法模型从这些样例数据中学习，最后生成一个智能程序来完成预定的任务，由线性算法产生的程序，可能看起来与典型的手写程序非常不同。
例如：它可能包含数百万个关于你如何权重不同类型的证据的数字，如果我们操作正确，程序就会像训练的那样正常运行，来比较容易得使程序改变。现在，大量的计算比雇人为一个特定的任务编写程序更便宜，所以我们可以负担得起复杂的机器学习程序为我们生产这些困难任务的特定的系统。

（1）一些最好通过机器学习来解决的任务例子

（2）机器学习的标准例子

①用机器学习算法来学习如何快速识别手写数字
MNIST手写数字数据库是与果蝇类似的机器，它是公开可得的，我们可以用机器学习算法来学习如何快速识别这些手写数字，所以尝试很多变量是很简单的。
我们将使用MNIST作为我们的标准任务。

由于神经网络系统并不十分稳定，所以一个模板完成不了这个工作。所以这是一个使机器学习识别手写数字的好任务。

②识别图片。


③语音识别。
达尔和默罕默德用许多二进制的神经元层来提取声音的框架，然后对标签进行猜测，一切通过一个很小的数据库进行，用到了183个替代标签。为了让系统运行流畅，他们提前进行了训练。标准过程处理后，他们在非常标准的基准上得到了20.7%的错误率。

IBM有最好的系统，是最准确进行语音识别任务的系统之一。

2.什么是神经元网络

神经元网络，是由大量类似于神经元的处理单元相互连结，而形成的非线性复杂网络系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经元网络处理、记忆信息的方式，完成人脑那样的信息处理功能，是非线性的并行结构。
神经元网络的运行方式，有前馈式网络和反馈式网络。
前馈式网络，采用分层网络结构形式，实现从输入层结点的状态空间，到输出层状态空间的非线性映射，它广泛采用于模式分类、特征抽取等方面。
反馈式网络，采用相互连结型网络结构形式，所在结点既可以输入，又是计算单元，同时向外输出，它用于优化计算和联想记忆。
人工神经元网络，只是简单地通过多台计算机组成阵列，来模拟每一个神经元节点，通过数学函数的计算，来分配每一台计算机的权重，以达到并行计算的效果，从而大大增强计算机系统的处理能力。

3.简单的神经元模型

首先从一个简单的线性阈值神经元开始介绍一系列的模型，然后简单的描述下更复杂的神经元模型。

3.1理想化这个模型。

理想化的去除那些复杂的细节，那些细节对于我们理解主要的原则并不是必须的，这允许我们把数学原理和一些算法应用到其他相似的系统里。一旦我们理解了基本的原则，我们很容易就能把模型复杂化使之有更正确的