算法：AI算法的梳理

人工智能（AI）、机器学习（ML）、深度学习（DL）之间的关系

人工智能是什么：

            就是类似电影中终结者，像阿尔法狗这类的具有一定的和人类智慧同样本质的一类智能的物体。

人工智能和机器学习的关系：

            机器学习是实现人工智能的方法。

机器学习和深度学习的关系：

            深度学习是机器学习算法中的一种算法，一种实现机器学习的技术和学习方法。

---------------数据挖掘---------------

强调在在海量数据（大数据）里发现知识，并试图描述数据内在的逻辑。具体方法不一定依托于机器学习，而只是依托于规则，来寻找数据的内在逻辑。只是数据挖掘用到机器学习方法时候，会产生1+1>2的效应。换句话说，数据挖掘方法可以是自动化或者非自动，而自动化方法可以借鉴机器学习方法，而非自动化则需要专门设定规则。

---------------模式识别---------------

70年代至80年代提出，强调的是如何让一个计算机程序去做一些看起来很“智能”的事情，例如区分“3”和“B”或者“3”和“8”，很多时候需要专门手工设计一些分类规则，如滤波，边缘检测和形态学处理等技术。（智能程序的诞生）

---------------机器学习---------------

90年代初提出，强调的是，在给计算机程序（或者机器）输入一些数据后，他必须学习这些数据，而这个学习的步骤是明确的，学习结果是对已有数据的分类和一个预测模型，预测模型可用于对未知数据的预测。（从样本中学习的智能程序，data-driven）

机器学习主要以监督学习(supervised learning)、无监督学习(unsupervised learning)、半监督学习和强化学习等形式。下面我们简要介绍以下这几种学习形式的基本内容：

监督学习对具有概念标记（分类）的训练样本进行学习，以尽可能对训练样本集外的数据进行标记（分类）预测。这里，所有的标记（分类）是已知的。监督学习是训练神经网络和决策树的最常见技术。这两种技术（神经网络和决策树）高度依赖于事先确定的分类系统给出的信息。

无监督式学习对数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。常见的应用场景包括关联规则的学习以及聚类等。常见算法包括Apriori算法以及k-Means算法。

半监督学习介于监督学习和半监督学习之间。输入数据部分被标识，部分没有被标识，这种学习模型可以用来进行预测，但是模型首先需要学习数据的内在结构以便合理的组织数据 来进行预测。应用场景包括分类和回归，算法包括一些对常用监督式学习算法的延伸，这些算法首先试图对未标识数据进行建模，在此基础上再对标识的数据进行预 测。如图论推理算法（Graph Inference）或者拉普拉斯支持向量机（Laplacian SVM.）等。

强化学习以输入数据作为对模型的反馈，不像监督模型（输入数据仅仅是作为一个检查模型对错的方式），在强化学习下，输入数据直接反馈到模型，模型须对此立刻作出调整。常见的应用场景包括动态系统以及机器人控制等。常见算法包括Q-Learning及时间差学习（Temporal difference learning）。

---------------深度学习---------------

机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习的概念源于人工神经网络的研究。21世纪很热门，强调的是使用的模型（例如深度卷积多层神经网络），模型中的参数可以从数据中学习获得。（一统江湖的框架）。 

          卷积神经网络框架

主要的实现框架包括有：

        Google的Tensorflow,

        源自加州伯克利分校的Caffe, 诞生于蒙特利尔理工学院的Python实现Theano

        来自facebook的Torch

        Java版的深度学习框架DeepLearning4j 等等不一而足。

TIP：

1、深度学习模型需要大量的训练数据，才能展现出神奇的效果，但现实生活中往往会遇到小样本问题，此时深度学习方法无法入手，传统的机器学习方法就可以处理；

2、有些领域，采用传统的简单的机器学习方法，可以很好地解决了，没必要非得用复杂的深度学习方法；

3、深度学习的思想，来源于人脑的启发，但绝不是人脑的模拟，人脑不需要大量的数据训练支持，我们只要看过一张猫的图就认识了猫，而机器必须经过几百万张猫的图才能“认识”猫。