人工智能入门——机器学习

机器学习

机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。

专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能。

重新组织已有的知识结构使之不断改善自身的性能。

它是人工智能的核心，是使计算机具有智能的根本途径。

 

学习策略的分类

模拟人脑

一、符号学习：

 

模拟人脑的宏现心理级学习过程，以认知心理学原理为基础。

以符号数据为输入，以符号运算为方法。

用推理过程在图或状态空间中搜索，学习的目标为概念或规则等。

符号学习的典型方法有记忆学习、示例学习、演绎学习.类比学习、解释学习等。

 

二、神经网络学习(或连接学习)：

 

模拟人脑的微观生理级学习过程，以脑和神经科学原理为基础。

以人工神经网络为函数结构模型，以数值数据为输人，以数值运算为方法。

用迭代过程在系数向量空间中搜索，学习的目标为函数。

典型的连接学习有权值修正学习、拓扑结构学习。

 

数学方法

统计机器学习是基于对数据的初步认识以及学习目的的分析。

选择合适的数学模型。拟定超参数，并输入样本数据，依据一定的策略。

运用合适的学习算法对模型进行训练，最后运用训练好的模型对数据进行分析预测。

 

统计机器学习三个要素：

 

一、模型(model)：

 

模型在未进行训练前，其可能的参数是多个甚至无穷的。

故可能的模型也是多个甚至无穷的，这些模型构成的集合就是假设空间。

 

二、策略(strategy)：

 

即从假设空间中挑选出参数最优的模型的准则。

模型的分类或预测结果与实际情况的误差(损失函数)越小，模型就越好。

那么策略就是误差最小。

 

三、算法(algorithm)：

 

即从假设空间中挑选模型的方法(等同于求解最佳的模型参数)。

机器学习的参数求解通常都会转化为最优化问题，故学习算法通常是最优化算法。

例如最速梯度下降法、牛顿法以及拟牛顿法等。

 

基于学习方法的分类

(1) 归纳学习

 

符号归纳学习：典型的符号归纳学习有示例学习、决策树学习。

 

函数归纳学习(发现学习)：典型的函数归纳学习有神经网络学习、示例学习、发现学习、统计学习。

 

(2) 演绎学习

 

(3) 类比学习：典型的类比学习有案例(范例)学习。

 

(4) 分析学习：典型的分析学习有解释学习、宏操作学习。 

 

基于学习方式的分类

(1) 监督学习(有导师学习)：输入数据中有导师信号。

以概率函数、代数函数或人工神经网络为基函数模型。

采用迭代计算方法，学习结果为函数。 

 

(2) 无监督学习(无导师学习)：输入数据中无导师信号，采用聚类方法，学习结果为类别。

典型的无导师学习有发现学习、聚类、竞争学习等。 

 

(3) 强化学习(增强学习)：以环境反惯(奖/惩信号)作为输人。

以统计和动态规划技术为指导的一种学习方法。 

 

基于数据形式的分类

(1) 结构化学习：以结构化数据为输人，以数值计算或符号推演为方法。

典型的结构化学习有神经网络学习、统计学习、决策树学习、规则学习。 

 

(2) 非结构化学习：以非结构化数据为输人，典型的非结构化学习有类比学习案例学习、

解释学习、文本挖掘、图像挖掘、Web挖掘等。 

 

基于学习目标的分类

(1) 概念学习：学习的目标和结果为概念，或者说是为了获得概念的学习。

典型的概念学习主要有示例学习。

 

(2) 规则学习：学习的目标和结果为规则，或者为了获得规则的学习。

典型规则学习主要有决策树学习。

 

(3) 函数学习：学习的目标和结果为函数，或者说是为了获得函数的学习。

典型函数学习主要有神经网络学习。 

 

(4) 类别学习：学习的目标和结果为对象类，或者说是为了获得类别的学习。

典型类别学习主要有聚类分析。

 

(5) 贝叶斯网络学习：学习的目标和结果是贝叶斯网络，或者说是为了获得贝叶斯网络的一种学习。

其又可分为结构学习和多数学习。