机器学习基本概念（前菜）

人工智能三次浪潮

随着大数据的兴起，机器学习、人工智能也随之火爆。其实，人工智能这个概念并不新鲜，早在上个世纪五十年代就已经有人提出，到目前为止已有三次浪潮，分别是：

人工智能第一次浪潮：

• 1950-1970，符号主义流派：专家系统占主导地位
• 1950 ：图灵设计国际象棋程序
• 1956 Artificial Intelligence  提出，人工智能的目的就是让计算机这台机器能够像人一样思考
• 1962 ：IBM Arthur Samuel  的跳棋程序战胜人类高手

人工智能第二次浪潮：

• 1980-2000，统计主义流派，主要用统计模型解决问题
• Vapnik 1993，SVM模型
• 1997 ：IBM  深蓝战胜象棋选手卡斯帕罗夫 

人工智能第三次浪潮：

• 2010- 至今，神经网络、深度学习、大数据流派
• Hinton 2006，DNN（深度神经网络）
• 2016 ：Google AlphaGO  战胜围棋选手李世石 

---

机器学习与大数据

在大数据架构中，机器学习处于上层阶段，基于大数据做完数据存储和数据分析之后，进一步挖掘数据存在的模式，得到一个对应于数据的模型，这个模型可以给我们提供一些决策或预测结果。

数据分析与数据挖掘 

---

各个技术的交叉

人工智能是一个很大的范畴，包括：

• 机器学习、
• 神经网络、
• 数据挖掘
• 模式识别

机器学习是一种技术，支持：

• 人工智能
• 数据挖掘
• 模式识别

人工智能 > 机器学习 > 深度学习 > 神经网络

• 深度学习是机器学习的一种方法，用来解决图像、语音等特征识别的方法
• 神经网络属于机器学习的范畴，是深度学习发展的产物

统计学是数据科学的基础，

数据库是在数据挖掘过程中提供数据管理和服务的支持

知识发现：知识图谱类似

确定的问题，数值计算的问题，不是机器学习，机器学习看是否有预测的过程。

---

机器学习的应用场景

机器学习，专门研究计算机如何能够模拟或实现人类的学习行为，以获取新的知识或技能，从而重新组织这些新的技术或技能提高自身的性能或能力。

 

1、人脸识别

2、无人驾驶

3、自然语言处理

4、推荐系统

5、计算广告

6、语音识别

 

 

机器学习的基本概念

 

训练集，测试集，特征值，监督学习，非监督学习，半监督学习，分类，回归

 

• 数据集：城市数据集
• 行：样本数据
• 列：特征或属性数据(除去最后一列的标签列)
• 属性空间：属性张成的空间
• 特征向量：每一个样本中的数据组成的向量
• 训练集：用于模型训练的数据集，X+Y
• 测试集：用于校验模型的优劣程度，X+Y
• 训练过程：(学习过程)使用训练数据集+机器学习算法==>模型
• 模型：将测试集中除去Y部分灌入模型中进行预测Y1
• 误差：Y-Y1
• 测试误差：模型在测试集上的误差
• 训练误差：模型在训练集上的误差
• 泛化误差：对新数据的适应能力
• 准确率：预测争取的个数/全部个数个数
• 错误率：预测错误的个数/全部样本个数

---

分类与回归

 

 

输出变量是否是连续值

•  是——>回归
• 不是——>分类

分类算法

• 决策树
• KNN
• SVM
• Perception&NeuralNetwork
• Bayes
• LogisticRegression

回归算法

• 简单线性回归
• 多元线性回归
• lasso回归
• Ridge回归
• ElasticNet

---

监督学习，无监督学习，半监督学习

1、监督学习(有类别标签的学习行为)：

• 将分类和回归统称为监督学习

无监督学习(没有类别标签的数据集学习方式)——方法：聚类、降维

半监督学习(有的数据集有标签有的数据集没有标签)

• 通过聚类的方法，利用组内数据相似性大，组外差异大的特征进行分组，再利用组内已经有标签的数据，通过少数服从多数的原则给无标记的样本打上标记，然后训练模型进行预测

• 根据是否将未标记数据作为预测数据分为
  • 纯半监督学习
  • 直推学习【将未标记数据作为预测数据】

---

强化学习

• 强化学习：主要用来解决连续决策问题。 比如：无人车、AlphaGo

【目标是变化的、不明确的，甚至可能存在绝对正确的标签】

 

目标Agent通过action和环境进行交互的过程，来提高目标本身的一个性能

环境当前的状态包含 reward（反馈） 和 state（行为）

目标通过action和环境进行交互，得到状态的改变，根据这个状态改变是否对最终结果有正向影响，会给一个reward的奖励（有正向影响就给奖励，没有就不给奖励）