人工智能三次浪潮
随着大数据的兴起,机器学习、人工智能也随之火爆。其实,人工智能这个概念并不新鲜,早在上个世纪五十年代就已经有人提出,到目前为止已有三次浪潮,分别是:
人工智能第一次浪潮:
- 1950-1970,符号主义流派:专家系统占主导地位
- 1950 :图灵设计国际象棋程序
- 1956 Artificial Intelligence 提出,人工智能的目的就是让计算机这台机器能够像人一样思考
- 1962 :IBM Arthur Samuel 的跳棋程序战胜人类高手
人工智能第二次浪潮:
- 1980-2000,统计主义流派,主要用统计模型解决问题
- Vapnik 1993,SVM模型
- 1997 :IBM 深蓝战胜象棋选手卡斯帕罗夫
人工智能第三次浪潮:
- 2010- 至今,神经网络、深度学习、大数据流派
- Hinton 2006,DNN(深度神经网络)
- 2016 :Google AlphaGO 战胜围棋选手李世石
机器学习与大数据
在大数据架构中,机器学习处于上层阶段,基于大数据做完数据存储和数据分析之后,进一步挖掘数据存在的模式,得到一个对应于数据的模型,这个模型可以给我们提供一些决策或预测结果。
数据分析与数据挖掘
各个技术的交叉
人工智能是一个很大的范畴,包括:
- 机器学习、
- 神经网络、
- 数据挖掘
- 模式识别
机器学习是一种技术,支持:
- 人工智能
- 数据挖掘
- 模式识别
人工智能 > 机器学习 > 深度学习 > 神经网络
- 深度学习是机器学习的一种方法,用来解决图像、语音等特征识别的方法
- 神经网络属于机器学习的范畴,是深度学习发展的产物
统计学是数据科学的基础,
数据库是在数据挖掘过程中提供数据管理和服务的支持
知识发现:知识图谱类似
确定的问题,数值计算的问题,不是机器学习,机器学习看是否有预测的过程。
机器学习的应用场景
机器学习,专门研究计算机如何能够模拟或实现人类的学习行为,以获取新的知识或技能,从而重新组织这些新的技术或技能提高自身的性能或能力。
1、人脸识别
2、无人驾驶
3、自然语言处理
4、推荐系统
5、计算广告
6、语音识别
机器学习的基本概念
训练集,测试集,特征值,监督学习,非监督学习,半监督学习,分类,回归
- 数据集:城市数据集
- 行:样本数据
- 列:特征或属性数据(除去最后一列的标签列)
- 属性空间:属性张成的空间
- 特征向量:每一个样本中的数据组成的向量
- 训练集:用于模型训练的数据集,X+Y
- 测试集:用于校验模型的优劣程度,X+Y
- 训练过程:(学习过程)使用训练数据集+机器学习算法==>模型
- 模型:将测试集中除去Y部分灌入模型中进行预测Y1
- 误差:Y-Y1
- 测试误差:模型在测试集上的误差
- 训练误差:模型在训练集上的误差
- 泛化误差:对新数据的适应能力
- 准确率:预测争取的个数/全部个数个数
- 错误率:预测错误的个数/全部样本个数
分类与回归
输出变量是否是连续值
- 是——>回归
- 不是——>分类
分类算法
- 决策树
- KNN
- SVM
- Perception&NeuralNetwork
- Bayes
- LogisticRegression
回归算法
- 简单线性回归
- 多元线性回归
- lasso回归
- Ridge回归
- ElasticNet
监督学习,无监督学习,半监督学习
1、监督学习(有类别标签的学习行为):
- 将分类和回归统称为监督学习
无监督学习(没有类别标签的数据集学习方式)——方法:聚类、降维
半监督学习(有的数据集有标签有的数据集没有标签)
- 通过聚类的方法,利用组内数据相似性大,组外差异大的特征进行分组,再利用组内已经有标签的数据,通过少数服从多数的原则给无标记的样本打上标记,然后训练模型进行预测
- 根据是否将未标记数据作为预测数据分为
- 纯半监督学习
- 直推学习【将未标记数据作为预测数据】
强化学习
- 强化学习:主要用来解决连续决策问题。 比如:无人车、AlphaGo
【目标是变化的、不明确的,甚至可能存在绝对正确的标签】
目标Agent通过action和环境进行交互的过程,来提高目标本身的一个性能
环境当前的状态包含 reward(反馈) 和 state(行为)
目标通过action和环境进行交互,得到状态的改变,根据这个状态改变是否对最终结果有正向影响,会给一个reward的奖励(有正向影响就给奖励,没有就不给奖励)