一 、人工智能三大概念
1 人工智能 • Artificial Intelligence(AI):仿智,使用计算机来模拟或者代替人类
2 机器学习 • Machine Learning(ML) :机器自动学习,不是人为规则编程
3 深度学习 • Deep Learning (DL) :大脑仿生,设计一层一层的神经元模拟万事万物
4 AI、ML、DL三者之间的关系
• 机器学习是实现人工智能的一种途径
• 深度学习是机器学习的一种方法发展而来的
5 算法的学习方式有哪两种?
• 基于规则的学习
• 基于模型的学习
实现人工智能的方法很多,其中机器学习是实现人工智能一种途径、一种方法。
广义上深度学习是从机器学习发展而来的,两者有区别还有联系。
深度学习方法是大脑仿生,深度学习方法从机器学习发展而来。
机器学习就是基于模型自动学习事物特征,而不是程序员手工的编写规则。
深度学习和机器学习都有各自的应用场景。在研究领域中要根据待解决的问题来选择合理的方法。
二、机器学习的应用领域和发展史
1 机器学习的应用领域
• 计算机视觉CV:对人看到的东西进行理解
• 自然语言处理:对人交流的东西进行理解
• 数据挖掘和数据分析:也属于人工智能的范畴
2 人工智能发展史
• 1956年人工智能元年
• 2012年计算机视觉深度神经网络方法研究兴起
• 2017年自然语言处理应用大幕拉开
• 2022年chatGPT的出现,引起AIGC的发展
3 人工智能发展三要素
• 数据,算法,算力
• CPU:主要适合I\O密集型的任务
• GPU:主要适合计算密集型任务
• TPU:专门针对大型网络训练而设计的一款处理器
三、机器学习常用术语
1 样本和数据集
• 样本(sample) :一行数据就是一个样本
• 数据集dataset:多个样本组成数据集
2 特征 • 特征(feature) :一列数据一个特征,有时也被称为属性
3 标签 • 标签/目标(label/target) :模型要预测的那一列数据。
4 数据集划分
• 训练集用来训练模型、测试集用来测试评估模型 。
• 一般划分比例7:3 ~ 8:2
四、机器学习算法分类
1 按照学习方式分类可分为: 监督学习, 无监督学习, 半监督学习, 强化学习
2 监督学习: 输入训练集数据包含输入特征值和目标值
回归: 函数的输出是一个连续的值
分类: 函数的输出是有限个离散值
3 无监督学习: 输入训练集数据是由输入特征值组成,没有目标值
比如:聚类根据样本间的相似性对样本集进行分类
4 半监督学习: 训练集同时包含有目标值的样本数据和不含有目标值的样本数据
5 强化学习: 智能体不断与环境进行交互,通过获取最大奖励的方式(试错的方式)来获得最佳策略;主要包含四个元素:Agent(智能体),环境(Environment),行动(Action), 奖励(reward)。
五、机器学习建模流程
• 获取数据:搜集与完成机器学习任务相关的数据集
• 数据基本处理:数据集中异常值,缺失值的处理等
• 特征工程:对数据特征进行提取、转成向量,让模型达到最好的效果
• 机器学习(模型训练):选择合适的算法对模型进行训练
• 根据不同的任务来选中不同的算法;有监督学习,无监督学习,半监督学 习,强化学习
• 模型评估:评估效果好上线服务,评估效果不好则重复上述步骤